Герри был делегатом от Массачусетса в Континентальном Конгрессе с февраля 1776 по 1780 год. Он также служил в армии с 1783 по сентябрь 1785 года и был женат в 1786 году на Анне Томпсон, дочери богатого нью-йоркского торговца, которая была моложе его на 21 год. В 1787 году он принял участие в Филадельфийском конвенте и был одним из делегатов, проголосовавших против новой конституции (присоединившись к Джорджу Мэйсону и Эдмунду Рендолфу). Он был избран в Палату представителей при новом национальном правительстве и работал в Конгрессе с 1789 по 1793 год.