Lilly se alistó en el Ejército de la Unión al principio de la Guerra Civil estadounidense y su primer hijo, Josiah, nació en 1861, mientras él se encontraba ausente. Se dedicó activamente a reclutar entre sus compañeros de clase, amigos, comerciantes locales y agricultores, pidiéndoles unírsele en la formación de una unidad. Creó unos carteles de reclutamiento y los colocó por los alrededores de Indianápolis, con la promesa de formar «la Batería de Indiana». Su unidad, la 18ª Batería de Artillería Ligera de Indiana, era conocida como «Lilly Battery» y consistía en seis cañones Parrott de diez libras y 150 hombres. Fue asignada en 1862 a la Brigada Relámpago, comandada por el coronel John T. Wilder, y Lilly fue elegido para servir como oficial al mando de su batería de agosto al invierno de 1863, cuando su alistamiento de tres años expiró. Su única experiencia militar previa había sido en la Legión de Indiana, en Lafayette, y algunos de sus artilleros le creían demasiado joven e inmoderado para mandar. A pesar de su inexperiencia inicial, se convirtió en un competente oficial de artillería y su batería contribuyó decisivamente en algunas batallas importantes. Vio acción por primera vez en la Batalla de Hoover Gap en 1863 y posteriormente en la Segunda Batalla de Chattanooga y la Batalla de Chickamauga.