Лонгстрита много критиковали за медленное продвижение к Ноксвиллу в ноябре, и даже в самой армии его прозвали «Петер Неторопливый» (Peter the Slow). В сражении за Кэмпбелл-Стейшн его армия была вынуждена атаковать части Бернсайда (который пришел к Ноксвиллу на 15 минут раньше), но эта атака не привела к успеху. Южане потеряли в бою 570 человек, северяне 400. 29 ноября в сражении при Форт-Сандерс, его атаки тоже не привели к успеху. Когда 25 ноября Брэгг был разбит Грантом в сражении при Чаттануге, Лонгстриту было приказано вернуться в Джорджию, но он отказался и двинулся в Вирджинию. Затем армия ушла на зимние квартиры и присоединилась к Северовирджинской армии только весной. В итоге, самостоятельность Лонгстрита имела негативные последствия, и он сам это понимал. Он снова обвинил в неудачах других, как это было после Севен-Пайнс. Он отстранил от командования Лафайета Мак-Лоуза и потребовал суда над генералом Джеромом Робертсоном и Эвандером Лоу. Он и сам 30 декабря 1863 просил об отставке, но просьба была отклонена.