贤形象受到重创，事业刹那间滑至谷底， 被迫出走港岛， 其后移居加拿大。离婚后，林建岳与王祖贤分手，其后恋上林学华，安排她于1996年成为丽新发展副总裁，于1999年分手，及后又与台湾模特儿陈浥萍拍拖， 陈浥萍于2000年未婚生女林利儿。林建岳喜爱雪茄，在香港开设雪茄廊代理古巴雪茄；又在集团旗下的中环丽嘉酒店地库开设食肆。
名下马匹.林建岳和长兄林建名及林建康皆为香港赛马会的会员，近年先后拥有马匹「千两宝宝」、「跑宝贝跑」（与叶澍堃合伙）。「千两宝宝」在港出赛六次皆入前四名，