当寺は、鑑真和上の高弟で唐から日本へ渡来した智威大徳が、天平勝宝年間(749年-757年)に隠棲した春日禅房に始まるとされる。