林建岳曾于1980年与童星出身的台湾女演员谢玲玲结婚，育有5个儿女，包括一对龙凤胎及儿子林孝贤等 其后，林建岳与台湾女演员王祖贤传出绯闻，更曾经同居，令到受到尊敬的谢玲玲于1995年提出离婚 然而，林百欣及余宝珠坚决反对林建岳在外另结新欢，仍然支持及视谢玲玲为媳妇，亦曾在记者面前公开批评王祖贤 余宝珠的一句“当儿子去召妓”使王祖贤被迫出走台湾，此后更移民加拿大