取举人，但因家中世代巨商，舍科举仕进而继承庞大家业。在宁波结识美国传教士丁韪良，受丁影响而专精西学，因而精通英文、拉丁文，兼通日文，又通晓西方数学、物理、声光电化、武器制造之学问，数年之后成为中国少数博通中西之人物。因此专长，先后受福建船政大臣夏献纶、沈葆桢赏识器重，举荐入总理各国事务衙门，又咨送吏部，奉旨以同知衔选用直隶知州。1876年，其长兄张斯桂出任驻日副使，其以随员兼翻译官随行。又随郭嵩焘出使英国，任英文翻译官。1879年，随刘云生出使德国，任翻译官，使毕再回英国伦敦。因前后大清驻英大使郭嵩焘、