Powell groeide op in Alabama en Florida. Na het uitbreken van de Burgeroorlog ging hij in dienst bij het leger van de Geconfedereerde Staten. In de Slag bij Gettysburg werd hij gevangengenomen. Hij slaagde erin te ontsnappen en ging vervolgens vechten voor het partizanenregiment van John S. Mosby. In de nadagen van de oorlog leerde Powell John Wilkes Booth kennen, die hem samen met vijf anderen betrok bij het plan om president Abraham Lincoln te ontvoeren. Uiteindelijk mondde dit plan uit in de moordaanslag op Lincoln, waarbij ook vicepresident Andrew Johnson en de minister van Buitenlandse Zaken William Seward gedood moesten worden.