Kjerringholmen omtales første gang i Ulrik Fredrik Aagaards bykart fra 1726. Holmen lå ubrukt til 1753 da Johannes Olsen Dale tok til å bygge sjøhus her. Mellom holmen og land var det så grunt at ingen færingsbåter kunne passere.