上兄弟姐妹众多，张业遂儿时生活艰难，曾不得不吃榆树皮和野菜粥度日。1964年，张业遂以全村第一名的成绩考入岳口中学。据他的语文老师李仁康回忆，张业遂语文和外语成绩优秀，尊敬老师，遵守纪律，遇事冷静，为人稳重，不张扬。1970年，张业遂被村民推荐进入北京外国语大学，成为工农兵大学生。自北外毕业后，他又被外交部选中，于1975年前往英国伦敦经济学院进修。1976年，张业遂毕业，留在英国任职，开始了外交官生涯，出任中国驻英国大使馆职员，随员。1982年，任外交部国际司三等秘书，副处长，一等秘书。1988年，任