其父亲是温州瓯江布厂工人，因参加工人运动而被通缉，被迫离开家乡，因而郑张尚芳自小被寄养在外祖父家中。其外祖父家中有一本清朝留下来的杂字簿，这激发了他对方言的兴趣。自小学五年级起，郑张尚芳就开始注重收集温州方言资料。高中时，通过赵元任《现代吴语研究》自学国际音标。1952年，郑张尚芳从温州市立中学高中毕业，但因家庭出身问题未能就读大学，因而没有大学学历，此后于北京地质学院专修班学物探。后来又先后从事地质部物探、温州市五马中学民办教师、温州市图书馆编目员等工作。他利用业余时间研究语言学，因常在温州图书馆自学