Die Grundsteinlegung der Galerie erfolgte 1847. Als Semper wegen seiner Beteiligung am Maiaufstand 1849 aus dem Königreich Sachsen fliehen musste, war der Bau bis zum Erdgeschoss fertiggestellt. Die Bauleitung nach Sempers Flucht übernahmen Karl Moritz Haenel und Sempers treuester Schüler, Hofbaumeister Bernhard Krüger. Die Dresdner Bildhauer Ernst Rietschel und Ernst Julius Hähnel wurden beauftragt, den plastischen Fassadenschmuck zu modellieren. Das „ikonografische Programm“ spielte bei den Museumsbauten des 19. Jahrhunderts eine bedeutende Rolle: Die Darstellungen an der Fassade wurden in Beziehung zu den Kunstwerken im Museum gestellt.