理论家胡风，母亲为作家梅志。1960年，张晓山进入北京四中就读初中。1966年文革爆发未能高中毕业。1968年上山下乡期间到内蒙古土默特左旗插队。1977年考入内蒙古师范学院，报考中文系，但被数学系录取（后经协调进入外语系学习）。1979年9月，考取中国人民大学农业经济系农业经济管理专业研究生，1982年获经济学硕士学位。1999年7月，以同等学力被中国社会科学院研究生院农业经济管理专业授予管理学博士学位。1982年9月起在中国社会科学院农村发展研究所工作，1998年10月至2010年任农村发展研究所所长。