Herbert Gille var fjerde sønn av fabrikanten Hermann Gille. Han gikk på borgerskole fra 1903 til 1909 og så på gymnasium i hjembyen. Fra sitt 14. år gikk han på kadettanstalten på Schloss Bensberg.