Erich Fellgiebel ble født i daværende tyske Pöpelwitz som nå er del av Wrocław i Polen. Atten år gammel sluttet han seg en signalbataljon i den Den prøyssiske armé som offiserskadett. Under første verdenskrig tjenestegjorde han som kaptein i Generalstaben og ble belønnet med Jernkorset begge klasser. Etter krigen ble han sendt til Berlin som generalstabsoffiser i Reichswehr. Hans tjeneste var eksemplarisk, og i 1928 ble han forfremmet til major.