I 1606 kjøpte Christian IV rundt 40 private hager utenfor Københavns voller mot Kastellet. I 1607 ble de lagt ut som et samlet grøntområde, fra 1664 ble kjent som Kongens Have. Hensikten var å utvide Københavns areal, samt opprette en ladegård som skulle forsyne Københavns slott med matvarer. I stedet ble Rosenborg slott oppført på tomten, kongens favorittsted, der han også døde. Han var svært stolt av «hustelefonen» der (et talerør), et «skylle-klosett» kalt «hemmeligheten», og at han fra rommet sitt kunne sveive vindebroen opp og ned ved hjelp av en håndsveiv i veggen.