堂初期，所处区域尚未发展，人口稀少。后来，由于筲箕湾人口逐渐增加，教友人数亦相应递增，圣堂地方不敷应用。于1960年，当时的主任司铎余远之神父得到热心教友的支持及捐助下，将旧有的圣堂及圣母岩拆卸并重建成为今日的圣堂及圣母岩，新圣堂于1961年1月1日由白英奇主教祝圣。为配合堂区整体发展，旧神父楼于2006年12月中旬开始拆卸，重建为一座楼高八层的新堂区大楼，新大楼整固工程于2009年6月中旬完成，随即展开内部装修工程，并命名为「圣十字架中心」。「圣十字架中心」于2010年农历新春前入伙，由汤汉枢机于20