2006年3月，林灵谷利用异母弟林益世名号，声称有办法取得公共工程的外劳配额，使得许智尧投资八百万元。但林灵谷却将工程转卖他人，将公款汇入亲友帐户，涉嫌掏空公司。林益世对此事曾表示与异母兄长林灵谷已经逾十年没见过面，不知道名号遭其冒用。林仙保二房为沈若兰，两人育有一子一女，儿子为林益世、女儿为林忆珊。当林仙保决定淡出政坛，交棒之际，嫡长子林灵谷与庶子林益世之间曾有嫡庶的接棒之争，最后，林益世挟牙医系毕业光环、台湾社会对牙医形象认同，取代学历略逊一筹的嫡长子，接下棒子，也开启顺遂的政治路。但沈本人行事作风