それに続く数ヶ月の間で、大陸会議はアダムズが主唱者の一人であった連合規約を改定する考えを承認した。1787年5月25日から9月17日まで開催されたフィラデルフィア会議では、「連邦主義」の考えに基盤を置くアメリカ合衆国憲法が起草された。 憲法草案が批准を求めて各州に送られると、アダムズは「各州の尊厳という概念が失われるに違いない」と述べて、草案に反対する意志を表明した。 330人の代議員の間で数ヶ月におよぶ議論が交わされて草案を批准するかを決する時になると、アダムズは権利章典が追加されるという条件で、憲法を支持することに同意した。 憲法の批准はわずか16票という僅差で可決された。その後アダムズは健康を患い、国家レベルではなく地方レベルの政治で小さな役割に徹しようと決めた。 一年後、アダムズは最初のマサチューセッツ憲法を起草する会議のメンバーであった。