Округ Карролл был основан в 1840 году из городов, исключенных из округа Страффорд. Округ был назван в честь Чарльза Кэрролла (), который скончался в 1832 году. Чарльз Кэрролл был одним из тех, кто подписал Декларацию независимости США.