他小时候住在田边的泥屋，曾参与养猪的工作。而父亲是一名三行工人，因为遇上一次交通意外后而失去工作能力，自此要林正财母亲养活一家。林正财在1973年毕业于圣公会圣约瑟小学上午校，并升读属第二志愿的何明华会督银禧中学。就读小学时因家境贫穷，所以会趁每天午间福利署的职员到校派发营养饭时盛载饭餸回家给家人食用。他在小学会考中取得优异成绩，结果可以入读位于市区的中学。为了方便上学，林正财搬到九龙土瓜湾与胞姊同住，再获分配到荔景邨居住。当时，他曾因为得知父亲当警司的同学家住千呎大屋而感到自卑，加上自己亦追不上学业和在童