Au début de la guerre de Sécession, Sharp s'enrôle dans le 1st Mississippi Battalion, qui plus tard est consolidé dans le 44th Mississippi Infantry (aussi connu comme le régiment de Blythe). Il gravit les échelons de soldat jusqu'à capitaine et participe à la bataille de Shiloh, à la campagne du Kentucky de Bragg et à la bataille de Murfreesboro. Promu au colonel en , il commande une brigade à la suite de la promotion en brigadier général de Patton Anderson et commande à Chickamauga et à la bataille de Missionary Ridge.