Fylket ble grunnlagt i 26. februar 1893. Yellowstone County har fått sitt navn etter elven Yellowstone som omtrentlig flyter igjennom fylket fra sørvest til nordøst. Eleven i sin tur har fått navn etter de gule sandsteinsklippene som nå befinner seg i Yellowstone County.