Garfield commanda ensuite la de l'Ohio sous la direction de Buell à la bataille de Shiloh où ses troupes, retardées par le mauvais temps, renforcèrent les unités du major-général Ulysses S. Grant menacées par une attaque surprise du général confédéré Albert S. Johnston. Il servit ensuite sous les ordres de Thomas J. Wood lors du siège de Corinth dans le Mississippi puis participa à la poursuite des forces confédérées en retraite menée par l'excessivement prudent major-général Henry W. Halleck. Cela permit la fuite du général P. G. T. Beauregard et de ses hommes et engendra chez le furieux Garfield une méfiance tenace vis-à-vis de l'entraînement à l'académie militaire de West Point. La philosophie militaire de Garfield en 1862, de porter agressivement la guerre contre les civils du Sud, n'était pas encore acceptée par les généraux de l'Union. La tactique fut ensuite adoptée et appliquée dans les campagnes des généraux Sherman et Sheridan.