人警告说他的体质可能经不起这样的条件，但他还是去了中国。1856年8月，他父母两人结婚，两个月后的10月起航前往中国。第二年，在乔治-华盛顿的生日纪念日，查尔斯-米尔斯出生了，以他的舅舅的名字命名得名查尔斯。盖雷早年在上海度过了他的童年，一家人在上海与炎热、疾病和太平天国的叛乱作斗争。他的父母都曾多次得过痢疾和霍乱。1860年11月，查尔斯的弟弟安德鲁因痢疾去世，年仅一岁，也是在他的妹妹范尼出生前三周。1861年，一家人决定搬到北方去，希望能有一个比较好的天气。由于美国内战威胁到了外国传教士的