好像让希义的魂魄再度探访一样。」另外，《平治物语》与《吾妻镜》对于希义死时的描述有分歧，按《平治物语》的说法，希义是赖朝举兵后遭到平家势力包围，他替父亲义朝举行法事后便自杀身亡。有些说法认为在治承4年，希义与纪伊国熊野等海上势力合作，曾经计划在南海道建立独自的反平家势力圈。赖朝对于希义的死悲愤莫名，在派遗大军消灭莲池和平田等人后，在介良庄建立墓地，并且以希义的法名「西养寺殿圆照大禅定门」来命名为西养寺。希义的死亡年份众说纷纭。
墓所.进入近世后，西养寺逐渐衰落，在明