他的父亲是一个苏格兰-爱尔兰农民的儿子，由于马铃薯饥荒而移民到美国。盖雷的父亲盖利听到唿召成为了中国的传教士，尽管有人警告说他的体质可能经不起这样的条件，但他还是去了中国。1856年8月，他父母两人结婚，两个月后的10月起航前往中国。第二年，在乔治-华盛顿的生日纪念日，查尔斯-米尔斯出生了，以他的舅舅的名字命名得名查尔斯。盖雷早年在上海度过了他的童年，一家人在上海与炎热、疾病和太平天国的叛乱作斗争。他的父母都曾多次得过痢疾和霍乱。1860年11月，查尔斯的弟弟安德鲁因痢疾去世，年仅一岁，也是在他