是前上海足球名将，绰号「拚命三郎」的张金海，张父于1938年移居香港，育有四子，张子岱排名第二，因在香港出生故取乳名为「阿香」，幼弟张子慧在1946年和平后出生，故取乳名「阿平」。除了三弟之外，其余三人均曾经是甲组球员，长兄张子文曾效力光华及警察，幼弟张子慧则效力过、消防、精工等球队，退役后移居加拿大。张子岱与妻育有三名子女，均已成年，其中儿子张学润是香港着名的形象设计师。