Il a été fondé en 1842 par distraction du comté de Grayson et nommé en l'honneur de Charles Carroll, un des signataires de la Déclaration d'Indépendance. Son territoire a ensuite été agrandi par distraction d'une partie du comté de Patrick.