Da borgerkrigen brød ud, gjorde Gibbon tjeneste som kaptajn for Batteri B i 4. U.S. Artillery på Camp Floyd i Utah. Trods det, at hans far var slaveejer, og at tre af hans brødre, to svogre og hans fætter J. Johnston Pettigrew, gjorde tjeneste i den konfødererede hær, besluttede Gibbon at stå ved sin ed til Unionen. Da han ankom til Washington blev Gibbon, som stadig havde kommandoen over 4th U.S. Artillery, artillerichef hos generalmajor Irvin McDowell. I 1862 blev han forfremmet til brigadegeneral i den frivillige hær og kommanderede en brigade af folk fra Vesten, der var kendt som King's Wisconsin Brigade. Gibbons gik hurtigt i gang med at eksercere med sine tropper og forbedre deres fremtræden, idet han beordrede dem til at bruge hvide gamachebukser og særlige sorte 1858-hatte fra den regulære hær. Hattene gav dem øgenavnet "Black Hat Brigade". Han førte brigaden i kamp mod den berømte Stonewall Brigade ved Brawner`s Farm i det Andet slag ved Bull Run. Han havde stadig kommandoen over brigaden under dens stærke angreb op ad bakke i Slaget ved South Mountain, hvor generalmajor Joseph Hooker udbrød, at mændene "kæmpede som jern". Herefter blev brigaden kendt som "Iron Brigade". Gibbon førte sidste gang brigaden i slaget ved Antietam, hvor han blev tvunget til at bruge tid på andet end at lede brigaden, idet han personligt betjente en kanon i den blodige kamp i majsmarken.