Das Carroll County wurde am 1. November 1833 aus Teilen des Izard County gebildet. Benannt wurde es nach Charles Carroll (1737–1832), einem Mitunterzeichner der Unabhängigkeitserklärung der USA und US-Senator von Maryland.