Carroll County ble opprettet 1. januar 1833 fra utskilte områder fra Columbiana County, Harrison County, Jefferson County, Stark County og Tuscarawas County. Fylkessetet er Carrollton.