Charlottenborg ble oppført for Ulrik Frederik Gyldenløve i årene 1672-1683 og var en av de første større bygningene som ble oppført ved det den gang nyanlagte Kongens Nytorv. Den var i tillegg en av de første barokkbygninger som ble bygget i Danmark. Tomten hvor slottet ble reist hadde Christian V gitt halvbroren Ulrik Frederik Gyldenløve skjøte på 22. mars 1669. Oppføringen av som det opprinnelig ble kalt, tok til etter at kongen la ned grunnstenen 3. april 1672 og sto på mens Gyldenløve for det meste oppholdt seg i Norge. Arkitekt var sannsynligvis Ewert Janssen.