937年，日本扶植的德穆楚克栋鲁普“蒙古联盟自治政府”军队占据绥远，衙署为该政权属下的“巴彦塔拉盟公署”占用。后来，衙署又被“蒙疆联合自治政府”占用。1945年，日本投降，中华民国绥远省政府回迁至该衙署。1949年9月19日，中华民国绥远省政府主席董其武在傅作义的影响下宣布起义，绥远和平解放。其后，绥远省人民政府及内蒙古自治区人民政府在此办公，乌兰夫为主席。1959年，在苏联专家的建议下，衙署附近的鼓楼和绥远北门因为交通原因被拆毁，衙署得以幸免。这个地区被一些唿和浩特人称为“鼓楼”就是因为被拆毁的位于