实行分区制度后，港九新界三个分区全以摩士小屋作为总部，因此童军总会认为有必要于港岛区以外设立一个新总部，在摩士爵士之捐助、马会与政府的拨款下，摩士大厦于1954年启用，九龙新界的总部也迁往九龙。可是摩士大厦也出现相同的问题，随着童军总会于1977年从英国童军总会分拆为独立的世界童军运动组织会员，加上当局正式接纳女性成员，大楼开始不敷应用，政府终于决定批出九龙公园边陲一幅官地，以优惠地价批地建新总部大楼，当新总部启用后，旧总部用地便需交还政府。根据1990年的土地契约，新总部大楼一定要有礼堂、健身室、食堂及宿