先后受福建船政大臣夏献纶、沈葆桢赏识器重，举荐入总理各国事务衙门，又咨送吏部，奉旨以同知衔选用直隶知州。1876年，其长兄张斯桂出任驻日副使，其以随员兼翻译官随行。又随郭嵩焘出使英国，任英文翻译官。1879年，随刘云生出使德国，任翻译官，使毕再回英国伦敦。因前后大清驻英大使郭嵩焘、曾纪泽、薛福成皆不通英文西学，张留任英国任大使馆翻译官、参赞官。而历任驻外大使公文多出张之手。郭嵩焘认为张其才可大用，“学术纯正，操守峻洁，粹然儒者，不当仅以随员目之”。1880年，张以太常寺卿身份奉旨出使美国、西班牙、秘鲁三