原配赖元芳是港大中文系创办人赖际熙的孙女，赖元芳20多岁便嫁给林百欣，为他诞下长子林建名及女儿林淑莹