兵衙门的等级与规格远远高于管理青岛地区民政事务的即墨县县衙，此种现象在古代官衙建筑中不多见。总兵衙门平面分前后两个院落，大门五开间，前院总兵大堂、后堂各五间，左右厢房各三间，后院正厅五开间，厢房各两间。房屋均为砖木梁架结构，屋顶覆盖中式灰瓦，围墙以花岗岩砌筑，以青砖包饰。房屋外檐下建有木制回廊，院中设花坛，种植松柏花竹等，大门内外两侧外墙有壁画。大门外建有一座宽约15米的照壁，绘有神兽壁画，外侧竖立木制旗杆。左营紧靠衙门东北侧，平面矩形，设夯土围墙，后改为砖墙。衙门于德租时期也有所增建。