Lilly fu designato come ufficiale di comando dell'unità dall'agosto del 1862 fino all'inverno del 1863 quando il suo periodo di arruolamento di 3 anni giunse al termine; molti dei suoi artiglieri lo consideravano troppo giovane e di temperamento inadatto per il comando, tuttavia, malgrado la sua iniziale mancanza di esperienza, Lilly divenne un ufficiale di artiglieria competente: la sua batteria ricoprì ruoli fondamentali in alcune importanti scontri tra cui la Battaglia di Hoover's Gap nel giugno del 1863, nella Seconda battaglia di Chattanooga e nella Battaglia di Chickamauga nel settembre 1863.