Das Carroll County wurde am 2. Januar 1833 aus Teilen des Ray County gebildet. Benannt wurde es, ebenso wie die Stadt Carrollton, nach Charles Carroll (1737–1832), einem der Gründerväter und Mitunterzeichner der Unabhängigkeitserklärung der Vereinigten Staaten.