Nach dem Besuch der katholischen Elementarschule und des Gymnasiums in seiner Heimatstadt trat Elpons am 3. Februar 1864 als Fahnenjunker in das 1. Westpreußische Grenadier-Regiment Nr. 6 der Preußischen Armee ein. Dort wurde er am 11. Oktober 1864 zum Portepeefähnrich ernannt und ein Jahr später zum Sekondeleutnant befördert. Mit seinem Regiment nahm Elpons 1866 während des Krieges gegen Österreich an den Kämpfen bei Nachod, Skalitz, Schweinschädel, Gradlitz und Königgrätz teil. Als Kompanieoffizier wurde er am 1. Oktober 1869 an die Unteroffizierschule Potsdam kommandiert und war hier auch über die Dauer des Krieges gegen Frankreich bis zum 30. Oktober 1871 tätig. Im Anschluss war Elpons in gleicher Funktion an der Unteroffizierschule Ettlingen, wurde am 9. März 1872 Premierleutnant und kehrte am 1. Oktober 1872 zu seinem Regiment zurück. Zunächst wurde er hier als Adjutant des I. Bataillons verwendet und war dann vom 20. April 1874 bis zum 14. April 1878 Regimentsadjutant. Als Hauptmann war er vom 21. April bis 16. Juni 1878 zum Stab der 10. Division kommandiert und stieg schließlich am 14. Januar 1879 zum Kompaniechef auf. Am 21. Juli 1889 folgte unter gleichzeitiger Beförderung zum Major seine Versetzung in das Colbergsche Grenadier-Regiment (2. Pommersches) Nr. 9. Ab 22. März 1891 diente er für vier Jahre als Kommandeur des I. Bataillons und wurde anschließend als Oberstleutnant und etatsmäßiger Stabsoffizier in das Kaiser Franz Garde-Grenadier-Regiment Nr. 2 versetzt.