伝承によれば、大同4年(809年)に空海(弘法大師)が日韓唐の土を集めて地蔵菩薩像を造り祀ったのが始まりとされ、地蔵堂はもとは近くにある鳳閣寺の別院だったという。