Дилджер поселился в Цинциннати (штат Огайо) и поступил на службу в армию США, где 1 апреля 1862 года стал капитаном 1-го батальона вирджинской лёгкой артиллерии. Батальон числился в ополчении штата Западная Вирджиния и состоял из батареи горных гаубиц. Дилджер принял участие в кампании в долине Шенандоа, где отличился в сражении при Кросс-Кейсе. Его батарея удачно отбила атаку «Луизианских тигров».