Bygningen ble oppført ved Johan Christian Conradi i 1751-1754 for Christen Lintrup, grev Lindencrone, sannsynligvis etter utkast eller tegninger av Nicolai Eigtved. Skulpturutsmykkingen er hugget av Jacob Fortling. Han kan i tillegg ha hatt innflytelse på utformingen av selve bygningen ettersom han også virket som byggmester. Paléet ble oppført av krittsten som ble transportert fra Stevns Klint.