于九龙觉士道9号的摩士大厦设置总部，也是童军总会首个永久会所。战后由军部拨款兴建的摩士小屋，落成仅数年便已不敷应用，在1951年童军实行分区制度后，港九新界三个分区全以摩士小屋作为总部，因此童军总会认为有必要于港岛区以外设立一个新总部，在摩士爵士之捐助、马会与政府的拨款下，摩士大厦于1954年启用，九龙新界的总部也迁往九龙。可是摩士大厦也出现相同的问题，随着童军总会于1977年从英国童军总会分拆为独立的世界童军运动组织会员，加上当局正式接纳女性成员，大楼开始不敷应用，政府终于决定批出九龙公园边陲一幅官地，以