Josias von Heeringen ble offiser i 1867 og ble hardt skadet i den fransk-prøyssiske krigen 1870-71. Han fikk i 1895 kommandoen over det 117. infanteriregiment, ble generalmajor og avdelingssjef i krigsministeriet i 1898, generalløytnant i 1901, øverstkommanderende for 22. divisjon i 1903 og, med generals grad, øverstkommanderende for 2. armékorps i 1906.