Zu Beginn des Bürgerkrieges trat Miller den Unionstruppen bei. Am 27. August 1861 ernannte ihn der Gouverneur von Indiana, Oliver P. Morton, zum Oberst des 29. Infanterieregiments von Indiana. Das Regiment wurde der Brigade von Edward Needles Kirk in der Division von Alexander McDowell McCook in Don Carlos Buells Army of the Ohio zugeteilt und in Tennessee stationiert. Miller kämpfte am zweiten Tag der Schlacht von Shiloh und nahm an der Belagerung von Corinth teil. Miller führte sein Regiment durch das nördliche Alabama und Tennessee und verfolgte Braxton Bragg durch Kentucky. Dann kommandierte er eine Brigade unter James Scott Negley während der Schlacht am Stones River im Dezember 1862. Am zweiten Tag der Schlacht führte Miller den Gegenangriff der Konföderationstruppen an, der den Angriff von John C. Breckinridge zurückschlug. Während dieses Angriffs wurde Miller am Nacken verwundet.