林书豪在家中三兄弟排行第二；哥哥林书雅（Joshua Lin）在纽约大学就读牙医系；弟弟林书纬（Joseph Lin）毕业于纽约，在学期间也是篮球校队成员，现则效力于台北富邦勇士，担任控球后卫。父亲林继明生于台湾，就读国立台湾大学，1977年考取中华民国教育部公费赴美留学，在老道明大学认识母亲吴信信；母亲吴信信生于台湾，在高中毕业前夕随着外祖母陈意子移民美国，就读老道明大学，之后与父亲林继明一同到普渡大学攻读更高学位。祖父林新恳生于现今台湾彰化县北斗镇，在日治时期毕业自台北高等商业学校，曾被外派到印尼