南北朝時代・建武元年(1334年)、福山城主の大江田氏が紀伊国牟婁郡熊野(熊野三山)より速玉男命、事解男命、伊弉諾尊の三神を勧請して軽部山の峯に社殿を造り、祈願所として創建されたと伝えられる。