后回港到英华书院及母校圣若瑟书院任教。1919年，徐仁寿独自创立华仁书院，其后邀得旧同事林海澜一同办学；到1924年又到九龙开办分校。徐仁寿在办学事业巅峰的时候突然退休，把两家华仁书院的办学权，转让给天主教修会耶稣会。他宣告退休后，便转往北婆罗洲经营树胶业。徐仁寿二妻陈庚娣、关肖娟，共生十九子八女：子为应祥、振祥、家祥、声祥、万祥、世祥、谦祥、友祥、义祥、建祥、达祥、广祥、总祥、溢祥、森祥，通祥、陆祥及信祥；女为梅英、瑞兰、平英、杰英、婉贞、增英、念伍、多喇。 三子徐家祥是香港首位华人政府行政官。 徐仁