Das repräsentative Gebäude wurde nach den Plänen des Zittauer Architekten Richard Schiffner 1914 eröffnet. Doch bereits 1897 wurde mit der „König-Albert-Stiftung“, die vom Zwickauer Stadtrat beschlossen wurde, der Grundstein für Museum gelegt, das die mittlerweile zahlreichen Sammlungen beherbergen sollte. Mehr als 10 Jahre sammelten die Bürger Geld für ihr Museum, das nach zweijähriger Bauzeit am 23. April 1914 als König-Albert-Museum feierlich eröffnet werden konnte.
Gezeigt wurden zunächst in den großen Oberlichtsälen des Nordflügels die erworbenen Werke der städtischen Gemäldesammlung, die bisher im Kunstvereinsgebäude (heutige Galerie am Domhof, Domhof 2) untergebracht waren. Die Sammlung weltlicher und kirchlicher Altertümer, die Mineraliensammlung aus der Ernst-Julius-Richter-Stiftung und die Sammlung für das Robert-Schumann-Museum fanden damals im Westflügel des Gebäudes ihren Ausstellungsort. Die Bestände der alten Ratsschulbibliothek sowie ein repräsentativer Lesesaal erhielten im Ostflügel einen neuen Platz. Der Aufbau einer zielgerichteten und modernen Kunstsammlung begann 1925 mit der Berufung des jungen Dresdener Kunsthistorikers Hildebrand Gurlitt (1895-1956), der allerdings 1930 wieder entlassen wurde –als frühes Zeichen für das sich verschärfende politische Klima.
Die Einheit von Museums- und Bibliotheksbau hat sich bis heute erhalten. Der Schwerpunkt der musealen Sammlungen verlagerte sich nach den Umzügen des Schumann-Museums in das wiedererrichtete Geburtshaus des Komponisten (1956) und der stadtgeschichtlichen Abteilung in den Museumskomplex „Priesterhäuser“ (2003) zugunsten der umfangreichen Kunstsammlungen mit dem einzigartigen Max-Pechstein-Museum (2014).
Dank der historischen Raumgliederung des Gebäudes, lassen sich noch heute die städtischen kunst- und naturgeschichtlichen Sammlungen in sehr abwechslungsreichen räumlichen Inszenierungen gestalten.
