Quando irrompeu a guerra entre os estados, Gibbon estava servindo como capitão da Bateria B, na 4ª Divisão de Artilharia em Camp Floyd, Utah. Apesar do fato de seu pai ser um senhor de escravos e de que três de seus irmãos, dois cunhados e seu primo J. Johnston Pettigrew servirem no Exército confederado, Gibbon decidiu manter seu juramento à União. Após a chegada em Washington, Gibbon, ainda no comando da 4ª Divisão de Artilharia, tornou-se chefe de artilharia sob o comando do major-general Irvin McDowell. Em 1862, foi nomeado brigadeiro-general dos voluntários e comandou a brigada de ocidentais conhecida como "King's Wisconsin Brigade". Gibbon procurou rapidamente conhecer seus comandados e melhorar suas aparências, ordenando-os a usar polainas brancas e o chapéu preto, modelo 1858, do exército regular. Os chapéus lhes valeram o apelido de A Brigada do Chapéu Preto ("The Black Hat Brigade"). Liderou a brigada na ação contra a famosa Brigada Stonewall do Exército confederado na , um prelúdio para a Segunda Batalha de Bull Run. Gibbon ainda estava no comando da brigada ao executar um forte ataque durante a batalha de South Mountain, onde o major-general Joseph Hooker exclamou que os homens "lutaram como ferro". A partir de então, a brigada ficou conhecida como a "Brigada de Ferro". Gibbon comandou a brigada pela última vez na batalha de Antietam, onde foi forçado a se afastar temporariamente do comando da brigada para pessoalmente guarnecer uma peça de artilharia durante a luta sangrenta em um milharal.