Fylket ble etablert i 1866 og har fått sitt navn etter Patrick Cleburne som var general i Amerikas konfødererte staters hær under den amerikanske borgerkrigen.