Apsley Cherry-Garrard wurde im Haus Nr. 15 in der Landsdowne Road der südenglischen Stadt Bedford geboren. Seine Eltern waren Generalmajor Apsley Cherry (später Cherry-Garrard, 1832–1907), Companion des Order of the Bath (CB) und Justice of Peace (JP), und dessen Ehefrau Evelyn Edith (geb. Sharpin, 1857–1946). Apsley Cherry-Garrard war ihr ältestes Kind und einziger Sohn neben fünf Töchtern. Die ursprünglich aus Frankreich stammende Familie Cherry gehörte zur wohlhabenden viktorianischen Mittelschicht. Cherry-Garrards Vater hatte als Offizier der britischen Armee im Indischen Aufstand von 1857 sowie in der südafrikanischen Kapkolonie im Grenzkrieg von 1877 und im Zulukrieg von 1879 gedient.