他地方服役而离开教会，奉献收入随之大幅下降，教会只能勉强维持日常运作。1909年，邻近的牧师住宅落成，翌年工人住所落成。圣安德烈堂于1913年加建一座礼堂，于1977年重新兴建成为一座7层高建筑。圣安德烈堂毗连前九龙英童学校，曾经为于九龙居住的英国人的聚会点。于香港日治时期，主任牧师被囚禁，圣安德烈堂被更改作为日本神道教神社，而牧师住宅则成为神社主持和日本情报人员的住处。日本无条件投降后，圣公会重新恢复圣安德烈堂，至1979年教堂旁的基督中心落成，同时牧师住宅亦更改作为公务用途。1997年，圣安