James opiskeli Tuskegeen yliopistolla. Hän sai lentäjän koulutuksensa Tuskegee Airmen -sotilaslentäjien kanssa toisen maailmansodan aikana. James lensi taistelulentoja Korean- ja Vietnamin sotien aikana. Hänestä tuli North American Aerospace Defense Commandin (NORAD) komentaja saatuaan ylennyksen neljän tähden kenraaliksi vuonna 1975.