Desde 1774 hasta 1776, Carroll se convirtió en un miembro de la Convención de Annapolis. Con Benjamín Franklin, Samuel Chase y su primo John Carroll, que es responsable de obtener la ayuda de Canadá en febrero de 1774 en la lucha por la independencia. En 1775, se convirtió en miembro del Comité de Seguridad en Annapolis. A principios de 1776, todavía no es miembro del Congreso, éste le pidió participar en una nueva misión a Canadá. Si Maryland decide apoyar la revolución abierta, que fue elegido para el Congreso Continental el 4 de julio de 1776, donde sirvió hasta 1778. Demasiado tarde para votar por ella, pero aún firme la Declaración de la Independencia. El 4 de julio de 1826, tras la muerte en la misma fecha de Thomas Jefferson y de John Adams el mismo día en que se cumplían cincuenta años del acontecimiento, se convierte en el último firmante con vida de la Declaración de la Independencia.