Det skal være hollandske sjøfolk som først begynte å kalke fjellet. I en eiendomsoverdragelse i 1641 med kongelig stadfestelse får kjøperen pålegg om å holde "det kalkede berg" vedlike og til erstatning oppkreve avgift av skip som besøker havna.