Lilly es va allistar en l'Exèrcit de la Unió al principi de la Guerra Civil nord-americana i el seu primer fill, Josiah, va néixer en 1861, mentre ell es trobava absent. Es va dedicar activament a reclutar entre els seus companys de classe, amics, comerciants locals i agricultors, demanant-los unir-se-li en la formació d'una unitat. Va crear uns cartells de reclutament i els va col·locar pels voltants d'Indianapolis, amb la promesa de formar «la Bateria d'Indiana». La seva unitat, la 18ª Bateria d'Artilleria Lleugera d'Indiana, era coneguda com a «Lilly Battery» i consistia en sis canons Parrott de deu lliures i 150 homes. Va ser assignada en 1862 a la Brigada Llampec, comandada pel coronel John T. Wilder, i Lilly va ser triat per servir com a oficial al comandament de la seva bateria d'agost a l'hivern de 1863, quan el seu allistament de tres anys va expirar. La seva única experiència militar prèvia havia estat en la Legió d'Indiana, en Lafayette, i alguns de les seves artilleros li creien massa jove i inmoderado per manar. Malgrat el seu inexperiencia inicial, es va convertir en un competent oficial d'artilleria i la seva bateria va contribuir decisivament en algunes batalles importants. Va veure acció per primera vegada en la Batalla de Hoover Gap en 1863 i posteriorment en la Segona Batalla de Chattanooga i la Batalla de Chickamauga.