King oli Massachusettsin edustaja siirtokuntien kongressissa sekä Philadelphian konventissa ja oli yksi Yhdysvaltain perustuslain allekirjoittajista vuonna 1787. Uuden kongressin muodostamisen jälkeen hän edusti New Yorkia Yhdysvaltain senaatissa.