Reinhard Gehlen ble født inn i en middelklassefamilie i Erfurt. Faren Walther (1871–1943) hadde tidligere vært major, og i 1908 etablerte han seg som bokhandler og forlagsdirektør i Breslau hvor den unge Reinhard deretter vokste opp. Moren Katharina von Vaernewyk kom fra Flandern. Reinhard Gehlen var fetter til sosiologen og filosofen Arnold Gehlen.