"Округ Карролл" был образован 1 ноября 1833 года, став 26-м по счёту округом в стране, и получил своё название в честь Чарлза Кэррола из Карролтона, последнего из подписавших Декларацию независимости США, умершего в 1832 году.