书院任教的小昆仲会修士来到香港，于九龙城嘉林边道圣马丁书院任教。1954年，香港教育署原本将现为伊利沙伯中学的地皮供修会建造校舍，及后知悉修会几近身无分文，即收回决定，改为给予修会两个选择 ── 在清水湾或大角咀建立校舍。最后，修士们于九龙枫树街和诗歌舞街交界处（当时被称为"九龙内地段6421"〔K.I.L. 6421〕）建立校舍。在这期间，嘉林边道的校舍便告弃置，同学被安排至九龙邓镜波学校暂时上课。1955年12月9日，新建的学校启用，为表示与上海母校（上海圣芳济书院，即现在的上海北虹中学）的关系，便