Через несколько дней во время сражения при Спотсильвейни (8-21 мая) Стюарт попал в плен вместе с большей частью своей бригады, когда защищал позицию, известную как «подкова мула». Этот участок находился в центре оборонительной линии армии генерала Ли, стратегически важный, но открытый для атак с трех сторон. Ночью 11 мая командование отвело артиллерию с этого участка, предполагая, что Грант не повторит атаку на этом участке. Стюарт заметил приготовления противника и просил Джонсона вернуть артиллерию. Однако, незадолго до рассвета 12 мая федеральные силы в составе трех дивизий (из корпуса Хэнкока) пошли в атаку на «подкову мула» в густом тумане, застав противника врасплох. Обороняющиеся были измотаны, страдали от плохой пищи, артиллерия их не поддержала и порох промокшим во время ночного дождя, поэтому атака превосходящих сил противника оказалась успешной и вирджинская бригада перестала существовать. После рукопашного боя Стюарт был вынужден сдаться полковнику 148-го пенсильванского полка, Джеймсу Беверу. Бевер спросил Стюарта: «Где ваша шпага, сэр?», на что генерал ответил: «Вы разбудили нас так рано, сэр, что у меня не было времени её надеть». Стюарт был доставлен к генералу Хэнкоку, который встречал в Вашингтоне Марию, жену Стюарта, и хотел передать ей новости о муже. Хэнкок протянул ему руку, спросив: «Как вы, Стюарт?», но Стюарт отказался пожать ему руку, несмотря на то, что они были друзьями до войны. Он ответил: «Учитывая все обстоятельства, генерал, я отказываюсь брать вашу руку», на что Хэнкок, как считается, ответил: «А при всех других обстоятельствах, генерал, я вам её не буду предлагать». После этой сцены оскорбленный Хэнкок отправил Стюарта в тыл вместе с остальными пленными.