После падения Виксберга дивизия Остерхауза была переведена в Теннесси. Под Чаттанугой он помогал Джозефу Хукеру штурмовать Лукаут-Маунтен. Затем он участвовал в битве за Атланту, однако был вынужден взять отпуск по болезни и пропустил Сражение за Атланту. Он успел вернуться в армию как раз к началу сражения при Джонсборо. После падения Атланты он стал командиром XV корпуса и участвовал в марше Шермана к морю. В марте 1865 года Остерхауз стал начальником штаба при Эдварде Кэнби (командира Военного ведомства западной Миссисипи), который не имел серьезного военного опыта. Когда капитулировала армия юга на трансмиссисипском театре, Остерхауз был послан к командиру южан, Эдмунду Кирби Смиту в качестве представителя от генерала Кэнди, и лично подписал документы о капитуляции.