伝承によると、祭神である建稲種命は日本武尊との東国征伐の帰途に伊豆海上で亡くなり、その遺骸が宮崎の海岸に流れ着いたのを村人が祀ったことが由来とされている。