琉球进行管训，之后又被遣送大鹏农场进行思想改造。1961年出狱后，林水泉重新参选，1964年当选第六届台北市议员。1965年，林水泉与吕国民、张明彰、林中礼、许曹德、陈清山等人组织「全国青年团结促进会」，主张推翻国民政府，并且派人前往日本会晤史明、辜宽敏等人，结果被调查局线民渗透，林水泉被捕，于1967年以「从事台湾独立运动、企图罗致少数不满的青年」，阴谋从事颠覆与「有意邀集游民炸毁油厂及重要桥樑」判处十五年有期徒刑，并移送绿岛，1977年才因蒋介石逝世的大赦而被释放。林水泉出狱后仍然投入民主运动，