胶澳总督府成立后，总兵衙门成为总督的办公地点，直至1906年胶澳总督府办公楼投入使用。胶澳皇家法院等部分机构直至1914年仍在衙门及左营办公。1914年11月日英联军占领青岛后，总兵衙门曾先后成为日军临时兵营及《青岛新报》职员宿舍。1930年代，青岛市政府曾计划在此开辟青岛历史博物馆，但因抗战爆发而搁浅。1940年，后来成为汪精卫政权官员的李仲刚将其创办的东文书院迁至此处，东文书院以教授日文为主，1945年8月日本投降后解散，总兵衙门改为私立抗建中学校舍，后改名为私立崂山中学。1949年解放军接管青岛后