Vier wichtige Sammlungen bilden den Aufgabenschwerpunkt des Museums: die Gemäldesammlung, die bereits vor Eröffnung des Museums 1914 auf Initiative des 1864 gegründete Zwickauer Kunstverein angelegt wurde, die grafische Sammlung, die Hildebrand Gurlitt in den 1920er Jahren ausbaute, die spätgotische Skulpturensammlung, die der Zwickauer Altertumsverein zusammen getragen hatte und die Mineraliensammlung, die als erste Schenkung im Jahr 1868 an die Stadt erfolgte.