校当队长，带学员兵。1936年调任自强舰副舰长。由于林遵是福建人，又是马尾海校毕业，加上天资聪颖，得到了时任海军部长陈绍宽赏识。1937年，孔祥熙、陈绍宽出使英国参加英王乔治六世的加冕典礼，即带上时为海军上尉的林遵。7月7日，卢沟桥事变爆发，陈绍宽只身从柏林飞回国内主持海军抗战，留下王致光监造潜艇，林遵学习潜艇技术。由于日本全面侵华，德国方面拖延造艇。后中德断交，林遵即于1939年回国参加抗战。
抗战时期.林遵回国后，任第五游击布雷大队大队长，晋升海军少校，在长江中游贵池一带执行分