Bygningen er oppført på 1650-tallet for riksrådet Erik Fleming, trolig etter tegninger av Nicodemus Tessin d.e., en annen kilde angir Jean de la Vallée som arkitekt. Bygningen ble ombygd i 1783 samt i 1863. Bygningen er oppført av tegl i tre etasjer og en attikaetasje. Fasadene er pusset og er utformet med rustikamur i sokkeletasjen og en kraftfull inndeling med pilastre som strekker seg mellom andre og tredje etasje. Pussen er i gul farge og sokkeletasjen er i lys rødbrun. 160px|left mini|Palasset avbildet i Suecia antiqua et hodierna i 1670 Taket er kobberkledd og valmet med to runde arker mot Slottsbacken, takfoten er utsmykket med et kraftig tannsnitt. Vindusomrammingen fikk sin nåværende utforming i forbindelse med ombyggingen i 1863, som ble utført på oppdrag av grosserer Frans Theodor Berlings.