1872年清朝首批中国留美幼童之一。抵达美国后，他进入康涅狄格州哈特福德市公立高中学习，后进入耶鲁大学学习法律。1881年，清朝结束幼童留学计划后，张康仁奉召回国，后在其兄资助下重新赴美继续其在耶鲁大学的学业。1883年，他从耶鲁大学毕业后，又进入哥伦比亚大学法学院学习，并于1886年毕业，获得法学士学位。1886年，张康仁剪掉了辫子，并准备从事律师业。但美国1882年排华法案使他无法在纽约任律师。1887年4月，张康仁申请执业，并在纽约州州长大卫·希尔（David Hill）面前做支持该申请的申辩。