Et gammelt sagn forteller at Olav den hellige skal ha gjemt et skrin av gull i Siggjo. Han satte det slik at solen skinte inn gjennom nøkkelhullet klokken tolv på Olsokdagen, og da skinte det i gullet lange veier. Opp gjennom tidene er det mange som på Olsok har sett mot Siggjo i håp om å få et glimt av gullet i fjellsiden. Og flere skal ha gravd etter skatten. Man ser rester etter en gravrøys på sørsiden av fjellet.