Nach einiger Zeit als Artilleriekommandeur in der Division von Generalmajor Irvin McDowell wurde er am 2. Mai 1862 zum Brigadegeneral der Freiwilligen befördert. Man übertrug ihm das Kommando über eine Brigade von Regimentern aus dem Mittleren Westen, die sich unter seinem Kommando in der Zweiten Schlacht am Bull Run und den Schlachten am South Mountain und Antietam den Namen "Iron Brigade" erkämpfte. Gibbon war es auch, dem die Brigade ihr charakteristisches Merkmal, die schwarzen Hüte, zu verdanken hatte.