训系中国队舰长班学习海军专业知识，1954年回国。回国后张序三在西安号护卫舰上担任实习舰长，曾驾舰护送国防部长彭德怀元帅视察海岛。1954年，苏联卖给中国四艘07型驱逐舰，是为中国海军早期“四大金刚”。张序三调至长春号驱逐舰，后于1956年任长春号驱逐舰舰长，时年27岁，为中国海军历史上最年轻的驱逐舰舰长。1962年4月12日，美国海军狄海文号驱逐舰入侵青岛海域，张序三指挥长春舰监视驱逐，将美国驱逐舰逼出中国领海。1964年张序三升任驱逐舰第51大队大队长，后参与驱逐舰导弹化改装，将“四大金刚”改装