Troisième fils d'Emanuel et Marie Custer, il entre dans l'armée de l'Union à l'âge de 16 ans en , et participe en tant que simple soldat à la guerre de Sécession dans le . Il s'illustre notamment lors des batailles de Stones River, Missionary Ridge et la campagne d'Atlanta.