书院任教的修士仓皇逃难到香港，于九龙城嘉林边道圣马丁书院任教。1954年，香港教育署原本将现为伊利沙伯中学的地皮供修会建造校舍，及后知悉修会几近身无分文，无法在山坡上建校，遂改为给予修会两个选择：在清水湾或大角咀建立校舍。最后，修士们于九龙枫树街和诗歌舞街交界处（当时被称为九龙内地段6421（K.I.L. 6421））建立校舍。嘉林边道的校舍同告弃置，同学被安排至九龙邓镜波学校暂时上课。1955年12月9日，新建的学校启用，为表示与上海母校（上海圣芳济书院，即现在的上海北虹中学）的关系，便将学校命名为「