妻子杨氏亦为，岳丈为英国人G.B.Glover。张德辉早年曾任职中国九江海关，及后调任上海，曾携同家眷到上海生活数年，子女在香港及上海均接受西式教育。而张德辉与同为香港欧亚混血儿的冼德芬、陈启明、施炳光为好友，后结拜为异姓兄弟。而建基于此关系，对日后女婿何东及儿子张沛阶与冼德芬、陈启明及施炳光等同为香港欧亚混血儿家族，在生意上和族群上建立起更紧密的连系。