Gibbon rimase nell'esercito dopo la guerra. Tornò nell'esercito regolare col grado di colonnello e fu messo al comando della fanteria di Fort Ellis nel territorio del Montana durante la campagna contro i Sioux del 1876. Gibbon, il generale George Crook ed il generale Alfred Terry condussero una campagna coordinata contro Sioux e Cheyenne, ma Crook fu respinto nella battaglia del Rosebud, e Gibbon non era vicino quando il tenente colonnello George Armstrong Custer attaccò un grosso villaggio sulle rive del fiume Little Bighorn. La battaglia del Little Bighorn portò alla morte di Custer e di 261 dei suoi uomini. L'arrivo di Gibbon il 26 luglio probabilmente salvò la vita alle centinaia di uomini comandati da Marcus Reno e tuttora sotto assedio. Gibbon giunse il giorno dopo ed aiutò a seppellire i morti e ad evacuare i feriti.