Perrin var bemærkelsesværdig tapper i Slaget ved the Wilderness i maj 1864. I det følgende slag, Slaget ved Spotsylvania Court House, erklærede Perrin "Jeg kommer ud af denne kamp som en levende generalmajor eller en død brigadegeneral". Da "Mule Shoe" (eller "Bloody Angle") blev løbet over ende og det meste af Edward Johnsons division blev taget til fange den 12. maj blev enheder fra 3. Korps kaldt til hjælp, herunder Perrins brigade. Han førte sine mænd i et behjertet modangreb gennem meget kraftig beskydning med sværdet i hånd, og han faldt fra sin hest ramt af 7 kugler. Han døde straks.