92年，登州镇总兵章高元率淮军四营自登州府府治蓬莱移防胶澳，并在青岛建设了兵营、栈桥等设施，在青岛口天后宫东侧建设了总兵衙门和左营，作为青岛地区的军政中心。由于史料缺乏，总兵衙门的具体建造年份与设计者均无从得知。1897年11月14日，德国海军少将棣德利率军占领青岛后，棣德利及其后任的驻青德军指挥官将办公地点设于原总兵衙门，紧邻的左营也被德国军政机关所使用。1898年4月胶澳总督府成立后，总兵衙门成为总督的办公地点，直至1906年胶澳总督府办公楼投入使用。胶澳皇家法院等部分机构直至1914年仍在衙门及左