I juni 1861 avgick Longstreet från sin befattning i den amerikanska armén för att ansluta sig till konfederationen under det amerikanska inbördeskriget. Longstreet sökte baserat på sin erfarenhet från den federala armén tjänst som major och krigskassör men utnämndes den 17 juni till brigadgeneral och beordrades kort därefter att inställa sig hos brigadgeneral P.G.T. Beauregard vars armé stod vid järnvägsknuten Manassas. Longstreet gavs befäl över en brigad från Virginia bestående av tre regementen. Snart skulle krigets första större slag komma att stå vid Manassas, första slaget vid Bull Run. När Longstreets stridsovana män kom under beskjutning vacklade de och några flydde bakåt men Longstreet rörde sig bland leden med en cigarr i mungipan och med sin sabel i handen och linjen stabiliserades av hans närvaro och lugn. Longstreets ledarskap uppmärksammades och samma år i oktober befordrades han till generalmajor och fick befäl över en division i The Army of Northern Virginia. James Longstreet tjänstgjorde under general Robert E. Lee och under Sjudagarsslagen hade han befäl över nästan halva Lees armé. Longstreet var även med i andra slaget vid Bull Run. Efter Slaget vid Antietam blev han befordrad till generallöjtnant. I slaget vid Fredericksburg ledde han en armékår i försvaret av Marye's Heights. Longstreet missade dock Slaget vid Chancellorsville då han med sin armékår befann sig på uppdrag runt Soffolk i North Carolina. I slaget vid Gettysburg var Longstreet oense med Lee, Longstreet ansåg att Lee borde vara mer defensiv. Han kom ihåg Fredericksburg där konfederationen hade haft en stenmur som skydd och nu hade unionen skydd bakom en liknande stenmur. Longstreet skulle få rätt, eftersom den berömda Picketts attack blev en katastrof. Longstreet var även med i Slaget vid Chickamauga och Slaget i Vildmarken. Efter att ha försvarat Petersburg medan Lee evakuerade Richmond kapitulerade han med sin befälhavare 1865 i Appomattox.