Vuoden 1787 perustuslaillisessa konventissa Rutledge toimi erään valmistelukomitean ("Committee on Detail") puheenjohtajana. Konventissa hän vastusti orjuuden lakkauttamista, kannatti vahvan keskushallituksen luomista ja vaati korkean omaisuusrajan asettamista valtion virkoihin pääsemisen ehdoksi. Vuonna 1789 presidentti George Washington nimitti Rutledgen juuri perustetun Yhdysvaltain korkeimman oikeuden tuomariksi. Hän ei kuitenkaan ehtinyt osallistua yhteenkään istuntoon, ennen kuin hän vuonna 1791 erosi toimiakseen Etelä-Carolinan osavaltion korkeimman oikeuden puheenjohtajana.