Immédiatement après le déclenchement de la guerre de Sécession, en 1861, Hovey est nommé colonel et organise le premier régiment de la légion de l'Indiana, une milice qui est utilisée pour défendre l'État pendant la guerre. Peu de temps après, il est nommé colonel du 24th Indiana Infantry. Son régiment est rapidement envoyé sur les lignes de front où il le conduit lors de la bataille de Shiloh en 1862. Il reste avec les éléments avancés de la principale armée occidentale de l'Union, et est promu brigadier général des volontaires des États-Unis. Pendant le siège de Corinth, il commande la première brigade de la troisième division de Lew Wallace. Hovey commande brièvement le district de l'Arkansas oriental au cours de l'automne de 1862, mais retourne au commandement de la brigade de l'armée du Tennessee en 1863. En janvier, il reçoit le commandement de la douzième division du corps. Il mène sa division lors de la bataille de Champion Hill plus tard dans l'année, de obtenant des louanges du général Ulysses S. Grant.