Kastellet ble grunnlagt av kong Christian IV. Det var meningen at det skulle ha vært bygget et slott, slik at kongen selv kunne søke tilflukt i Kastellet. Det ble imidlertid droppet av økonomiske grunner.