Gibbon permaneceu no exército após a guerra. Reverteu para a patente do exército regular de coronel e esteve no comando da infantaria em Fort Ellis, no Território de Montana, durante a campanha contra os sioux em 1876. Gibbon, o general George Crook, e o general Alfred Terry estavam realizar uma campanha coordenada contra os sioux e os cheyennes, porém, Crook foi chamado de volta para lutar na batalha do Rosebud, e Gibbon não estava por perto quando o tenente-coronel George Armstrong Custer atacou uma aldeia muito grande nas margens do rio Little Bighorn. A batalha do Little Bighorn resultou nas mortes de Custer e de cerca de 261 de seus homens. A aproximação de Gibbon em 26 de junho, provavelmente salvou as vidas de várias centenas de homens sob o comando do major Marcus Reno, que ainda estavam sob cerco. Gibbon chegou no dia seguinte e ajudou a enterrar os mortos e transportar os feridos.