社伝によれば、天慶年中(10世紀前葉)に藤原師輔が讒言により当地へ流罪となり3年余り謫居したが、阿蘇十二神に祈念する事で免されて都へ帰る事となった為、流謫中に儲けた一子を西遠寺(または西園司)左金吾氏続と名付けて当地へ残したところ、氏続は長じて当地の領主となったが、正暦2年(991年)のある日、阿蘇大明神(阿蘇十二神)の使いと称する老人が氏続の夢中に訪れ、屋敷の北側の梛の林を阿蘇大明神が鎮座地として所望しているので大明神を勧請するように、神託の徴として屋敷の庭に柿の木を生やしておくと告げ、夢から覚めた氏続が確かめたところ庭に葉を茂らせた柿の木が一夜にして生えていた為に、夢告に従い同年9月19日に阿蘇大明神を勧請し、自らその祭祀を司った事に創まるという。