庙是元末明初内地的蒙古人西迁到此地后创建。蒙古准噶尔部叛变清朝后，该庙及其周边地区成为准噶尔部的军事要塞。1755年，清朝军队进攻蒙古庙，千总马骏率领一支回族骑兵首先进攻，战斗失利，马骏战死，葬在蒙古庙东沟，其墓人称“回族将军坟”。清军遂派随军的甘肃省卓尼县蒙古族活佛开干旗进山劝降。开干旗到蒙古庙之后，接见了蒙古官兵及牧民，并讲经。此后，开干旗在蒙古庙秘密组织叛军中的下级官兵和牧民，将顽固分子引到蒙古庙前的一个大蒙古包内喝酒吃肉，随后开干旗下令放火，将这些顽固分子烧死在大蒙古包中。但火势因风大而蔓延，烧毁了