他宣告退休后，便转往北婆罗洲经营树胶业。徐仁寿二妻陈庚娣、关肖娟，共生十九子八女：子为应祥、振祥、家祥、声祥、万祥、世祥、谦祥、友祥、义祥、建祥、达祥、广祥、总祥、溢祥、森祥，通祥、陆祥及信祥；女为梅英、瑞兰、平英、杰英、婉贞、增英、念伍、多喇。 三子徐家祥是香港首位华人政府行政官。 徐仁寿姊清和（1886-1985），妻崇谦堂村彭氏乐三。崇谦堂村百年古宅「干德门」乃彭乐三与友人凌启莲所建。1981年2月19日，徐仁寿于九龙马头围圣德肋撒医院病逝，其安息弥撒于九龙华仁书院圣依纳爵堂举行，遗体安葬在九龙长