林孝贤与母亲谢玲玲同住在九龙塘豪宅，家庭观念极重的他，经常出席家庭聚会，深得祖母余宝珠疼爱