Током грађанског рата стекао је велику славу. Учествовао је у првој бици код Бул Рана, а његовој каријери су помогла познанства са неколико важних официра. Показао се као ефикасан заповедник коњице у бици код Гетисбурга 1863. године. Био је унапређен у привремени чин генерал-мајора, да би на крају рата био враћен на свој чин капетан. При завршетку кампање код Апоматокса, у којој су његови војници одиграли кључну улогу, Кастер је био присутан на предаји генерала Роберта Е. Лија.