儿子嫖妓！」(粤语原文: 我当我个仔叫鸡！)， 震惊一时， 使王祖贤形象受到重创，事业刹那间滑至谷底， 被迫出走港岛， 其后移居加拿大。离婚后，林建岳与王祖贤分手，其后恋上林学华，安排她于1996年成为丽新发展副总裁，于1999年分手，及后又与台湾模特儿陈浥萍拍拖， 陈浥萍于2000年未婚生女林利儿。林建岳喜爱雪茄，在香港开设雪茄廊代理古巴雪茄；又在集团旗下的中环丽嘉酒店地库开设食肆。
名下马匹.林建岳和长兄林建名及林建康皆为香港赛马会的会员，近年先后拥有马匹「千两宝宝」、