Gerry est l’un des délégués du Massachusetts au Congrès continental de février 1776 à 1780 puis de 1783 à septembre 1785. En 1786, il épouse Ann Thompson, fille d’un riche marchand newyorkais plus jeune que lui de . En 1787, il est l’un des délégués à la convention constitutionnelle à voter contre la nouvelle constitution et (comme Mason et Randolph) à ne pas la signer. Il est élu à la chambre des représentants du nouveau gouvernement national et y sert de 1789 à 1793. Il surprend ses amis en devenant un fidèle du nouveau gouvernement, et soutient si vigoureusement les rapports de Hamilton sur les finances publiques, y compris l’appropriation des dettes d’État et la nouvelle Banque des États-Unis qu’il est considéré comme un leader par les fédéralistes. Il ne se présente pas à la réélection en 1792.