Однако, Линкольн вмешался в его карьеру и Харроу был отправлен на запад, где возглавил 4-ю дивизию XV корпуса. Это назначение вызвало некоторое недовольство среди солдат, которые не очень уважали офицеров, переведённых с востока. Харроу пришлось прибегать к крайним мерам, чтобы заставить солдат повиноваться. И все же его дивизия хорошо проявила себя в битве за Атланту, особенно в сражении за Атланту и в сражении при Эзра-Чеч. В сентябре 1864 года прошла реорганизация армии, и Харроу остался без дела. Его сомнительная репутация стала причиной того, что его отказались принять к себе Оливер Ховард, Уильям Шерман и Уинфилд Хэнкок. Один из его подчинённых позже сказал: «Обладая способностями командира, он нигде наглядно не проявил их в ходе битвы за Атланту…».