Paléet ble bygget i årene 1759–64 og var tegnet av arkitekt Nicolas-Henri Jardin for storkjøpmannen Frederik Bargum. Bygningen anses som den første neoklassisistiske bygningen i København.