旋入鲁抚幕，先后为巡抚阎敬铭、丁宝桢所器重，经过数次推荐至道员。清德宗光绪年间，张任按察使，后调京赏三品京堂，两入主掌外交事务的总理各国事务衙门，累迁至户部左侍郎，赏加尚书衔，先后兼署工、刑、兵、礼、吏部等五部。光绪十一年（1885年），任驻美国、西班牙、秘鲁三国大臣，办理华工被害各案交涉事宜。二十一年（1895年），北洋舰队在甲午战争惨败后，光绪帝派张荫桓、湖南巡抚邵友濂为全权大臣赴日本媾和。二十三年（1897年），出使英、美、法、德、俄诸国。8月12日，以英维多利亚女王登基60週年清帝贺使，