Vid krigets utbrott blev Grierson major vid ett kavalleriregemente från Illinois. Han konstituerades till överste och regementschef 1862. Som överste ledde han 1863 en diversionsmanöver bakom fiendens linjer vilken skulle avleda uppmärksamheten från Grants operationer kring Vicksburg. Tre kavalleriregementen och en tropp ridande artilleri genomförde räden som tog dem från Memphis, Tennessee till Baton Rouge, Louisiana. Grierson konstituerades efter operationen till brigadgeneral och kavalleridivisionschef och under krigets slutskede till generalmajor. Som belöning för sina insatser under kriget utnämndes han till generalmajor "i armén". Efter kriget var han till 1890 överste och chef för 10th US Cavalry, ett afroamerikanskt kavalleriregemente i den reguljära armén, ett av Buffalo Soldier-regementena.