Le fut affecté à des missions de reconnaissances et de protection des voies ferroviaire dans le Kentucky et Tennessee durant la plus grande partie de ses deux premières années. En 1864, Harrison et son régiment rejoignirent la campagne d'Atlanta du général William T. Sherman et furent placés en première ligne. Le , il reçut le commandement de la de la du Corps qu'il mena au combat lors des batailles de Resaca, de Cassville, de New Hope Church, de Kennesaw Mountain, de Marietta, de Peachtree Creek et d'Atlanta. Lorsque les forces de Sherman achevèrent la marche vers la mer, la brigade de Harrison fut transférée dans le district d'Etowah et participa à la bataille de Nashville. Le , Harrison fut promu général de brigade et il participa à la Grande Parade militaire à Washington, D.C. avant de quitter l'armée le .