威治海军大学学习。1934年毕业回国，在宁海舰、海容舰当枪炮员。后被调到福州马尾学校当队长，带学员兵。1936年调任自强舰副舰长。由于林遵是福建人，又是马尾海校毕业，加上天资聪颖，得到了时任海军部长陈绍宽赏识。1937年，孔祥熙、陈绍宽出使英国参加英王乔治六世的加冕典礼，即带上时为海军上尉的林遵。7月7日，卢沟桥事变爆发，陈绍宽只身从柏林飞回国内主持海军抗战，留下王致光监造潜艇，林遵学习潜艇技术。由于日本全面侵华，德国方面拖延造艇。后中德断交，林遵即于1939年回国参加抗战。
抗战时