Syn Thomase a Mary Mills Pittengerových navštěvoval až do svých šestnácti let okresní školu. Po vypuknutí občanské války narukoval 17. dubna 1861 jako vojín na tři měsíce k 2. ohijskému pěšímu regimentu. Během této doby se zúčastnil první bitvy u Bull Runu. Brzy narukoval znovu na tři roky a 11. září 1861 byl odvelen do Camp Dennison, Ohio. O několik dní později se připojil k obnovenému 2. ohijskému pěšímu regimentu jako desátník. Třináctého března 1862 byl povýšen na četaře a krátce poté se jako dobrovolník účastnil Andrewsova únosu vlaku, který vešel do dějin jako Velká lokomotivní honička. Únos skončil fiaskem, únosci se rozutekli do lesů, ale všichni byli polapeni a někteří, včetně Andrewse, oběšeni. Pittenger byl zajat 15. dubna poblíž Lafayette (Georgie), nebyl však jako špión popraven, ale zůstal uvězněn až do 18. března 1863, kdy byl v City Point (Virginie) vyměněn. Po propuštění a následném obdržení Medaile cti byl povýšen na poručíka a dále sloužil, dokud mu to jeho nalomené zdraví dovolilo. Čtrnáctého srpna 1863 byl na Anderson Station ( Tennessee) propuštěn.