Byen oppsto som en havn langt tilbake i tidlig middelalder og på et tidspunkt ble den kongens eiendom. Christian IV flyttet Orlogsværftet fra Bremerholm til det nåværende Holmen, hvor også Flådens Leje ble plassert. Senere konger lot Holmen bebygge ytterligere, bl.a. Frederik V med mastekranen.