干隆二年（1737年），驻守山西右卫的建威将军王常奉旨改驻绥远城，改称“绥远城将军”。其府衙即绥远城将军衙署。到1909年之前，清廷的绥远城将军共78任，均在此管理驻扎。清朝最后一位绥远城将军是宣统末年的堃岫。民国元年（1912年）10月，张绍曾被中华民国任命署绥远城将军，仍驻将军衙署，并且改清朝的“绥远城将军衙署”为“绥远城将军府”。民国三年（1914年），绥远城将军改为绥远都统，绥远城将军府改为“绥远都统公署”。民国十七年（1928年），改为“绥远临时区政府”。民国十八年（1929年）设置绥远省，衙