当神社は、文化2年（1805年）2月に境内で起こった「め組の喧嘩」の舞台であり、この半鐘を鳴らしたため騒ぎが大きくなったといわれる。
根据最近自甲斐神社挖掘出刻着甲斐家家纹的鬼瓦，反面刻着“文化二丑二月吉日土山瓦作”，显示该神社可能创建于文化2年（1805年）2月以降。