Quando scoppiò la guerra tra gli stati, Gibbon stava prestando servizio come capitano della batteria B, 4º artiglieria a Camp Floyd nello Utah. Nonostante il fatto che il padre fosse proprietario di schiavi e che tre dei suoi fratelli, due cognati ed il cugino James Johnston Pettigrew combatterono con i confederati, Gibbon scelse di giurare fedeltà all'Unione. Quando giunse a Washington Gibbon, ancora al comando del 4º artiglieria, divenne capo dell'artiglieria per il maggior generale Irvin McDowell. Nel 1862 fu nominato generale di brigata dei volontari e comandò la brigata di occidentali nota come King's Wisconsin Brigade. Gibbon addestrò subito le proprie truppe e ne migliorò l'aspetto, ordinando loro di indossare ghette bianche e i caratteristici cappelli Hardy neri del 1858 in uso presso l'esercito regolare. I cappelli gli fecero guadagnare il soprannome di Brigata Cappello Nero ("Black Hat Brigade"). Guidò la brigata in azione contro la famosa brigata Stonewall Confederata nella battaglia della fattoria Brawner, preludio della seconda battaglia di Bull Run. Gibbon comandò la brigata nella battaglia di Antietam, dove fu obbligato a rinunciare temporaneamente al comando per manovrare personalmente un pezzo d'artiglieria nella sanguinosa battaglia del Cornfield. Era ancora al comando della brigata durante la dura carica sulla collina nella battaglia di South Mountain, in cui il maggior generale Joseph Hooker esclamò che quegli uomini "combattono come il ferro". Da allora la brigata fu nota come "Brigata di Ferro".