青德军指挥官将办公地点设于原总兵衙门，紧邻的左营也被德国军政机关所使用。1898年4月胶澳总督府成立后，总兵衙门成为总督的办公地点，直至1906年胶澳总督府办公楼投入使用。胶澳皇家法院等部分机构直至1914年仍在衙门及左营办公。1914年11月日英联军占领青岛后，总兵衙门曾先后成为日军临时兵营及《青岛新报》职员宿舍。1930年代，青岛市政府曾计划在此开辟青岛历史博物馆，但因抗战爆发而搁浅。1940年，后来成为汪精卫政权官员的李仲刚将其创办的东文书院迁至此处，东文书院以教授日文为主，1945年8月日本投降