Først ved senere utfyllinger og forskyvning av strandlinjen har byens bebyggelse omsluttet kirken. (Det senere vesttårnet står på fast fjell.) Senere ble den atskillig forandret da den også fikk en portal med Christian 4.s monogram. Tverrskipene som gjorde den til en korskirke, ble tilføyd i 1615/1632. Byggematerialet var bruddstein med utvendig kvaderkledning.