00年返回香港，并在朋友介绍下在工厂当散工。由于收入不稳定，他只好申请综援。其时他的妻子患上思觉失调，最后因此而离婚。他一度需要四出寄居，于2005年底才借得茶果岭的住址暂住，而每月只有1,200港元作为生活费。林泽飘在2006年1月2日在丽港城附近的街上遇劫，被劫去综援金，全副身家只剩下港币37元，但仍然抱乐观态度去面对问题。