漳州东山，1941年2月20日出生于英属马来亚柔佛峇株巴辖县。父亲林宝山是阉鸡和阉猪工人，母亲张九年是家庭主妇。他有两个哥哥及一个姐姐，在家中排行最小。林吉祥曾经在夜校接受两年半的小学华文教育，后转到英文小学就读，后来完成了中学教育，之后曾在新加坡海崃时报及新加坡广播电视台出任记者。1960年林吉祥迎娶梁玉治并于次年诞下长子林冠英，目前有四个孩子。林吉祥也曾于1960年在士乃华小担任临时教师，教导一至六年级的英文，教书时住在新山并乘搭德士往返两地。1977年获英国林肯律师学院颁授讼务律师资格。