De 1774 à 1776, Carroll devient membre de la Convention d'Annapolis. Avec Benjamin Franklin, Samuel Chase et son cousin John Carroll, il est chargé d'obtenir l'aide du Canada en février 1774 dans la lutte pour l'indépendance. En 1775, il devient membre du Comité de sécurité d'Annapolis. Au début de l'année 1776, alors qu'il n'est pas encore membre du Congrès, celui-ci lui demande de participer à une nouvelle mission au Canada. Lorsque le Maryland prend la décision de soutenir la révolution ouverte, il est élu au Congrès continental le 4 juillet 1776, où il siège jusqu'en 1778. Il arrive trop tard pour voter en faveur de celle-ci mais signe tout de même la "Déclaration d'indépendance" ; il est le seul signataire de confession catholique. Il devient le 4 juillet 1826 le dernier signataire vivant de ce texte.