La guerre terminée en 1783, Langdon construisit en 1784 le manoir connu à Portsmouth sous le nom de Maison du gouverneur John Langdon. Élu pour deux mandats comme président du New Hampshire, de 1785 à 1786 et de 1788 à 1789, il fut réélu au Second Congrès continental en 1787 et fut membre de la délégation du New Hampshire à la Convention constitutionnelle de 1787. Langdon fut élu au Sénat des États-Unis où il siégea du jusqu’au . Le , il fut élu le premier président pro tempore du Sénat et il également président pro tempore du Deuxième Congrès.