『日本霊異記』によれば、役行者は文武天皇3年(699年)に伊豆へ流罪となった後に、12の行場での修行を経て富士北麓2合目の行者堂へ向かい、富士登山道を開いたという。