1872年到1875年，4批120名大清幼童陆续留学美国，成为近代最早官派留学生群体。数年以后，因为国内守旧人士的阻碍和美国排华大潮的出现，幼童留美事业夭折，93名幼童分三批黯然归国。值得注意的是并不是所有的幼童全部归国，有二十余人并没有随队回国，他们成为近代中国留学教育史上最早滞留海外的不归者。这些不归者中，部分人是由于各种因素在留学美国期间便不幸去世，比如第一批幼童中最聪明伶俐、最被人钟爱的潘铭钟15岁时，即1876年进入纽约特洛伊(Troy，New York)的仁塞利尔理工学院(Rensaelear Polytechnic College)，可能是最先升入大学的幼童。不幸的是，次年，即1877年潘铭钟因学习过度而去世。此外，第一批的黄锡宝、第三批的曹家爵等人都是留学期间夭折的幼童。更多的不归者是基于各种因素而滞留海外的人，其中代表人物是抗旨不归的谭耀勋和容揆。二人是百余名留美幼童中的佼佼者，皆于1880年高中毕业被美国名校录取，其中容揆的毕业成绩是全班第二，且成为在毕业典礼上致辞的毕业生代表。不幸的是，因为他们都在接触西方文明的同时接受了基督教信仰，并且剪掉了被视为忠诚于大清王朝象征的辫子，被认为是触犯了清廷对留美幼童的清规戒律。刚出任出洋肄业局委员不久的保守官僚吴嘉善对此勃然大怒，将它们从肄业局除名，而后勒令他们立即回国。在这时，容闳帮助了他们。据容闳的朋友杜吉尔牧师回忆说：容闳博士访我，其愿负担容揆大学费用每年七百元，如果能安排使容闳留美不返的话，┅┅当我八月去肯泯河谷时，容揆与我约好在春田城见面。我们谈了此事。故当其他幼童整装待发归去之时，容揆及另一位信教之学生——谭耀勋，他已得到他同批(第一批)来美幼童们之捐助，凑足进入耶鲁之学费——俩人一齐由寄住之处出走，并躲藏起来。在容闳及其友人、同学的帮助和支持下，容揆和谭耀勋逃离留学事务局的控制，得以延续自己的学业，在幼童都返回国之后，依旧延续着幼童留美教育的历程。其中谭耀勋于1883年完成了耶鲁大学的学业，毕业后获得了在纽约中国总领馆的一个职位。但就在这年秋天，他却因肺病客死他乡。他死后，葬在曾生活过的美国家庭的墓地里，至今墓碑仍在。容揆在容闳的帮助下于1880年进入耶鲁大学，读文科，至1884年毕业。而后他仍留在耶鲁雪菲科学院学习化学。1886年又考入哥伦比亚大学矿业学院学习工程，1887年毕业。毕业后直到1943年去世，容揆长期在华盛顿中国驻美使馆工作。其中1909年，第一批47名庚款留美学生到达美国春田市时，容揆办理接待，协助游美学务处坐办唐国安根据学生的不同情况，将他们安置在不同的学校读书。唐国安归国后，容揆负责照料管理这些新的中国留美学生，延续了容闳当年的留学计划。虽然当时中美之间的差距比今天大得多，但早期滞留海外不归的留学生却没人主动留在美国，他们都是因为复杂的客观因素被迫滞留海外的。他们虽然身在海外，但却不思享受国外的荣华富贵，而是心忧中华，容揆、唐耀勋等都工作在中国驻美使馆，在海外为祖国奉献力量，给中国留学人树立了一个个光辉榜样。