早年.盖雷是塞缪尔-兰金-盖利牧师和萨拉-索菲亚-米尔斯（梅理士的妹妹）的长子。通过他的外祖母，盖雷可以通过托马斯-罗杰斯（Thomas Rogers）追溯到五月花号上的祖先，他的父亲是一个苏格兰-爱尔兰农民的儿子，由于马铃薯饥荒而移民到美国。盖雷的父亲盖利听到唿召成为了中国的传教士，尽管有人警告说他的体质可能经不起这样的条件，但他还是去了中国。1856年8月，他父母两人结婚，两个月后的10月起航前往中国。第二年，在乔治-华盛顿的生日纪念日，查尔斯-米尔斯出生了，以他的舅