渡到香港，并于一间塑胶厂工作。其后他用了2年时间进修，因而成为衣车维修员，分别在观塘及土瓜湾2间制衣厂轮班工作，负责衣车维修及保养。林泽飘在香港生活初期，一直居住于木屋区及临时房屋区，1968年与姓廖妻子结婚，其后育有两子两女。1978年，他参加了九龙湾的居民委员会，曾担任主席及文书的工作。1979年他亦加入香港公屋评议会，也出任过香港社区组织协会主席。1983年，他参选香港市政局首届民选议员，击败两名具大学学历的对手，以14,000多张选票当选，成为整个选举得票第三高的候选人。 林泽飘当时被视为独