Chandler ble født i Chicago; hans mor var Florence Dart (Thornton) fra Waterford i Irland, og faren var Maurice Benjamin Chandler. Faren var fra Philadelphia. Begge foreldre var kvekere. Raymond hadde sine første leveår i Plattsmouth, der han bodde med foreldrene nær slektninger som hadde slått seg ned der, kusiner, mors søster, og en onkel. Chandlers far, en sivilingenjør som arbeidet for jernbanen og som var blitt alkoholiker, og forlot familien for slå seg sammen med en annen kvinne.