Era un edificio a tre piani costruito in più fasi e realizzato dal 1737 al 1753 da Johann Christoph Knöffel per il conte Heinrich von Brühl. Per la costruzione del palazzo furono demolite sette case nella "Augustusstrasse" e sei nella "Klepperstälen". Nel 1792 il palazzo divenne proprietà dell'Elettorato di Sassonia. Dal 1850 al 1851 vi si tennero le Conferenze di Dresda 1850/1851. Il palazzo fu demolito nel 1900 e poi ricostruito come appare oggi. Già nel 1894, la vicina casa di Fürstenberg era stata demolita per realizzare il nuovo edificio. Le sculture del Brühlsche Palais, il portale, l'altana e la sala da ballo vennero installate fedelmente nell'Accademia di arti e mestieri di "Güntzstrasse", dove furono distrutti dai bombardamenti del 1945.