因为饱受战乱的摧残而荒废。在那之后出现许多寺庙宝物各地迁移的传说。有人认为当时善光寺因为战祸而烧毁，武田信玄将其本尊移到甲府，并且于现在的甲府市建立「甲斐善光寺」供奉。另有一说，上杉谦信为了保护善光寺的本尊与宝物，将本尊与宝物供奉在越后国的直江津市（现新潟县上越市北部）的十念寺（现名称改为浜善光寺）。各种传说的说法都不同，而且也没有确定的文献记载。之后所供奉的本尊佛像曾被织田信长带到岐阜，又被丰臣秀吉带到京都，甚至还被德川家康转移到尾张。经由许多当代权势者的转移，最后终于在庆长2年（1598年）回归信浓