Después de regresar brevemente al Congreso, Rutledge fue nombrado para el Tribunal de Cancillería de Carolina del Sur. Fue delegado de la Convención de Filadelfia de 1787, que redactó la Constitución de Estados Unidos. Durante la convención, se desempeñó como presidente de la Comisión de Detalle, que elaboró el primer borrador completo de la constitución. Al año siguiente también participó en la convención de Carolina del Sur para ratificar la constitución.