В 1862, во время Кампании в долине Шенандоа, произошло сражение при Кернстауне, которое серьёзно испортило карьеру Гарнетту. Джексон старался уничтожить федеральный отряд Натаниэля Бэнкса — 23 марта он получил ложные разведданные, согласно которым федеральная дивизия генерала Джеймса Шилдса насчитывает всего 4 полка. Гарнетту и его бригаде было приказано атаковать. Однако Шилдс располагал полной пехотной дивизией численностью 9 000 человек, что вдвое превосходило отряд Джексона. Атака не удалась, бригада была атакована с трех сторон, и Гарнетт приказал отойти. Разъярённый Джексон обвинил Гарнетта в невыполнении приказа — имелось в виду, что тот не должен был отступать без распоряжения Джексона. 25 марта Гарнетт был заменен на посту командующего бригадным генералом Чарльзом Уиндером, а 1 апреля по личному распоряжению Джексона арестован.