于行政主导，也不满其他议员，并非真心为市民争取福利，因此决定不再参选，并退出政坛。林泽飘之后曾到中国大陆经营房地产业务，但因生意失败于2000年返回香港，并在朋友介绍下在工厂当散工。由于收入不稳定，他只好申请综援。其时他的妻子患上思觉失调，最后因此而离婚。他一度需要四出寄居，于2005年底才借得茶果岭的住址暂住，而每月只有1,200港元作为生活费。林泽飘在2006年1月2日在丽港城附近的街上遇劫，被劫去综援金，全副身家只剩下港币37元，但仍然抱乐观态度去面对问题。