社伝によると、応安年間(1368-75年)に藤坊という修験者が伊勢神宮の分霊を現在の函館市郊外にあたる亀田赤川村に祀ったのが始まりという。