爷爷是那打素医院院长，父亲林达志是元朗妇产科医生，他只有几岁大时，父母离婚，他和弟弟跟随母亲。1960年，他在拔萃男书院读中一时，母亲离开香港到美国去，两兄弟便开始寄宿生活，直至1965年，再被安排负笈英国四、五年。。家中老大，下有一个弟弟。现任太太是叶蒨文，与前妻吴正元育有一子一女，儿子为歌手林德信。林子祥在歌坛地位崇高，他最为人称道的是极广的音域、独一无二的演绎方法和卓越的创作才能，也备受许冠杰、徐小凤、谭咏麟、梅艳芳、张国荣、刘德华、李克勤、郭富城、叶蒨文、陈奕迅、张学友、黎明、陈慧娴、杜丽莎、梁朝伟