，入福州小学学习，毕业后升入格致中学。1922年，随父前往南京，进入南京金陵中学学习。
海军学员.1924年中学毕业后，林遵进入烟台海军学校学习。1926年，与中共地下党党员郭寿生一同组织“新海军社”宣传国民革命思想，策应国民革命军北伐。1927年，北京政府将烟台海军学校学员迁至福建马尾海校学习，林遵于1928年于该校毕业。
英德留学.毕业后，林遵被分配到南京鱼雷枪炮训练班当见习生。1930年，国民政府派遣赴英国海军留学生，林遵与邓兆祥等一同前往英国学习海