Gibbon blev i hæren efter krigen. Han skiftede tilbage til den regulære hær med rang af oberst og havde kommandoen over infanteriet i Fort Ellis, i Montana under kampagnen mod Sioux indianerne i 1876. Gibbon, general George Crook og oberstløjtnant George A. Custer skulle gnnemføre en koordineret kampagne mod Sioux- og Cheyenneindianerne, men Crook blev drevet tilbage i Slaget ved the Rosebud, og Gibbon var ikke i nærheden, da Custer angreb en meget stor landsby på bredden af Little Bighorn floden. Slaget ved Little Bighorn resulterede i, at Custer og 261 af hans mænd døde. At Gibbons styrke nærmede sig stedet den 26. juni, reddede formentlig flere hundrede mænd under kommando af major Marcus Reno, som stadig var under belejring. Gibbon ankom den efterfølgende dag og hjalp til med at begrave de døde og evakuere de sårede.