Han deltok i hele borgerkrigen og utmerket seg for det meste, men Hooker er best kjent for det knusende nederlaget for Konføderasjonens general Robert E. Lee i slaget ved Chancellorsville i 1863. Han ble kjent som «Fighting Joe» i borgerkrigen på grunn av en mindre sivil feil, men kallenavnet festet seg.