Lorsque la guerre de Sécession éclate Rucker s'enrôle dans l'armée des États confédérés en tant que soldat dans la compagnie de sapeurs et de mineurs du Tennessee. Envoyé au Kentucky, il est promu lieutenant. Le 10 mai 1862, il est transféré et promu capitaine de la compagnie C du 1st Tennessee Heavy Artillery, son unité est composée principalement d'hommes de l'Illinois. Sa compagnie travaille avec trois Columbiads de 8 pouces et trois de 32 livres, faisant partie de la garnison lors de la bataille de l'Île numéro 10. Lorsque l'île tombe, il s'échappe et est félicité pour sa bravoure. Rucker est transféré dans la cavalerie avec le grade de commandant et affecté à l'application des lois de la conscription dans l'est du Tennessee. Son unité devient le 16th Tennessee Cavalry Battalion. Au début de 1863, Rucker est promu colonel et commandant de la 1st East Tensessee Legion nouvellement créée, aussi connue comme la légion de Rucker. Ses composantes sont hormis son bataillon, le 12th Tennessee Cavaly Battalion et une batterie d'artillerie. Avec sa légion, il participe au raid du Kentucky de Pegram, à la bataille de Chickamauga et la campagne de Chattanooga.