Heye gikk 22. mars 1888 inn i et kadettkorps i den prøyssiske hær og tjenestegjorde innen infanteriet. Da han på nyåret 1900 begynte i tjeneste i generalstaben, innledet dette hans karriere som generalstabsoffiser. I årene 1906-1908 tjenestegjorde han i de tyske beskyttelsesstyrken ("Schutztruppen") i Tysk Sydvest-Afrika som på denne tiden slo ned Herero-oppstanden. I årene 1910-1913 ledet han etterretningsavdelingen innen generalstaben.