一方「石廊山金剛院縁起」(拝殿内に展示されている)によると、役小角が伊豆大島へ流されたとき(文武天皇3年(699年)-文武天皇5年(701年))、十一面施無畏の神力を得てこの地に至り、また文武天皇4年(700年)に大地震があった際にも、龍と白鳥が現れてこの地を守った。