人民解放军海军少将军衔，并获一级解放勋章。1957年，任中国人民解放军海军军事学院副院长，参加《辞海》军事条目的编审工作，此后一直在海军文史、教育等领域工作。同时，林遵一直担任国防委员会委员。
重回舰队.1972年，林遵患鼻咽癌，先后在南京、上海、青岛等地治疗休养，1974年病愈。病愈后，调任东海舰队副司令员，重新回到海军舰队，了却一桩愿望。1977年，林遵加入中共，随后即任东海舰队党委委员。1979年7月16日，鼻咽癌复发，抢救医治无效，在上海逝世。死前，林遵留下遗言