亲离异，父亲经营玉器生意，母亲为一名酒楼清洁工人。他祖籍台山，祖父是曾获蒋介石颁奖表扬英勇抗日的国民党士兵。林家栋早年于九龙城竹园饭店附近的大厦天台居住，出生不久分别在联合道、城南道生活。之后在未到10岁时便搬入九龙寨城住了4年，直至小学毕业。之后搬到何文田爱民邨新民楼。他小时候需要帮补家计，帮忙穿胶花和珠仔。又从十二岁起当过信差、在油麻地果栏附近的一间餐厅兼职送外卖、在九龙长沙湾丽新集团任职包装员和在电子游戏机中心当兼职员工。林家栋毕业于位于九龙城的耀山学校，中学就读位于九龙城区的一所中学及位于沙田区