公庙迁至此地后，一直不振，疾病不断。光绪元年（1875年），瘟疫再起，许多僧人病逝。由此，此地被视为不祥，故1885年公庙又迁回故地巴音土忽木。这是第三次迁址。19世纪末至20世纪初，由于政治动荡，盗贼兵匪四起，公庙喇嘛经常遭偷窃乃至受侮辱。同时，走西口的汉人大批涌入河套地区，通过各种手段占据乃至抢占乌拉特西公旗许多土地，开垦种地。公庙的财产、土地、牲畜大量被抢，喇嘛及百姓遭杀戮。1920年代初，公庙迁至唿和宝力格山沟。 1924年至1928年，基本工程竣工，并举行开光仪式。这是第四次迁址。Sect