Det ble opprinnelig bygget som privathus for en hoffsekretær mellom 1663 og 1669. I 1733 ble det av Philipp Gerlach ombygget til bypalé for kronprins Fredrik, den senere kong Fredrik den store. Mellom 1919 og 1937 brukte Berlins nasjonalgalleris moderne avdeling bygningen. Deutsches Historisches Museum benyttet bygningen i perioden Zeughaus Berlin var under ombygging.