清朝雍正年间，清朝为了进击漠西卫拉特蒙古准噶尔部及控制内蒙古西部的蒙古诸部，在雍正十三年（1735年），决定在内蒙古、外蒙古分别修建一座新城，用以屯驻军队防御准噶尔。其中在内蒙古在归化城东北五里处建绥远城。 干隆二年（1737年），驻守山西右卫的建威将军王常奉旨改驻绥远城，改称“绥远城将军”。其府衙即绥远城将军衙署。到1909年之前，清廷的绥远城将军共78任，均在此管理驻扎。清朝最后一位绥远城将军是宣统末年的堃岫。民国元年（1912年）10月，张绍曾被中华民国任命署绥远城将军，仍驻将军衙署，并且改