しかし、天正13年(1585年)の豊臣秀吉の越中侵攻の際、佐々成政の家臣の佐々平左衛門によって放火され、本殿を始めとした社殿や所蔵品などを全て焼失した。