Походив із відомого шляхетного роду. Народився в сім'ї великого землевласника капітана Філіпа Гелльдорфа. Під час Першої світової війни служив в Торгауском гусарському полку. У тому ж полку служив Йоахім фон Ріббентроп — майбутній міністр закордонних справ Німеччини (1938-1945). Гелльдорф починав службу в званні прапорщик. У 1915 році підвищено до лейтенанта. У званні капітана був військовим перекладачем Маттіаса Ерцбергера при укладанні Комп'єнського перемир'я.