Lorsque la Convention constitutionnelle se réunit à Philadelphie en 1787, Ellsworth une fois encore représente le Connecticut et prend une part active au processus. Pendant le débat et le Grand compromis, il propose que la représentation législative reste attachée à l'État, comme dans les Articles de la Confédération. Il laisse également sa marque par un amendement visant à changer le mot « "national" » par « "United States" ». Par la suite, « "United States" » sera le titre donné au gouvernement par la convention.