Seit 1954 plante die Stadtverwaltung einen Neubau für die zerstörten Gebäude des Stadtmuseums und der Stadtbibliothek, der auf dem Gelände der zerstörten Altstadt entstehen sollte. Die Planungen wurden wegen dringender anderer Bauprojekte und fehlender Finanzierungsmöglichkeiten mehrfach zurückgestellt. Die veranschlagten Kosten stiegen von 400.000 DM (1954/55) über 800.000 DM (1958) auf 2,3 Millionen DM (1959/60). Die tatsächlichen Baukosten beliefen sich dann auf 4,2 Millionen DM. Seit 1958 war in den Planungen auch die Unterbringung der Volkshochschule vorgesehen, auch die Stadtverordneten sollten endlich einen festen Versammlungsort erhalten. Dafür fiel 1958 das Stadtmuseum aus den Planungen heraus, hierfür war jetzt die Ruine des Pädagogs vorgesehen. Im Februar 1961 begannen die Bauarbeiten für das zunächst „Volksbildungsheim“ genannte Gebäude, das zur feierlichen Einweihung am 03.04.1964 den Namen „Justus-Liebig-Haus“ erhielt. Das Justus-Liebig-Haus besaß einen Saal mit 361 Plätzen, im Westflügel erhielt die Volkshochschule Büros, sechs Lehrsäle, zwei Werkräume und ein Fotolabor. Den größeren Ostflügel belegte die Stadtbibliothek, die damit die sehr beengten Räumlichkeiten in der Goetheschule verlassen und erstmals die Freihandaufstellung ihrer Bestände durchführen konnte. Im Keller des Justus-Liebig-Hauses wurden – mehr schlecht als recht – die Bestände der Städtischen Kunstsammlung und des Stadtmuseums untergebracht. Die Stadtbibliothek, die bereits seit Ende der 1980er Jahre unter Platzproblemen für ihre ständig wachsenden Bestände litt (1964: 30.700 Bände, 1992: 150.000), erhielt im Oktober 1994 einen mit dem alten Gebäude verbundenen modernen Neubau. Das weiträumige Foyer beherbergte von 1995 bis 2008 die Kommunale Galerie und wird heute für Ausstellungen und Kulturveranstaltungen genutzt. Der große Saal des Hauses ist seit September 2004 nach dem langjährigen Stadtverordnetenvorsteher Dr. Günter Ziegler (1921-2000) benannt.