Etter landskapet hadde forandret seg med et eid mellom fastlandet og Balsøya, ble naturhavnen etter hvert oppgitt. Torskeholet har vært skånet for menneskeskapte landskapsendringer i nyere tid etter å ha vært brukt som havn og opplagssted i flere århundrer. I 2004 fastslo Miljøverndepartementet at utbyggingen ikke er mulig i området som deretter ble et friområde og tursted. Den lokale kommunen i samarbeid med Norsk Maritimt Museum tilrettelegger stedet (Torskeholet og Balsøya) for allmennheten med stier og parkeringsplass for adkomst. Det ble også satt opp skilter om kulturminneområdet.