Bygningen var opprinnelig en ankersmie fra 1563 bygget av Peter de Dunker på oppdrag av Frederik II. Den ble bygget om til kirke i 1619 under Christian IV. Det var blitt reist flere boliger for sjøfolk i området – de såkalte Skipperboderne – og man hadde behov for en kirke til.