Pickering graduierte 1763 an der Harvard University. Zu Beginn der amerikanischen Revolution kämpfte er auf Seiten der Patrioten, nahm aber 1777 das Angebot von George Washington an, als Generals-Adjutant in der amerikanischen Armee zu dienen, was sich im Nachhinein als die beste Entscheidung herausstellte. Nach zwei fehlgeschlagenen Spekulationsgeschäften mit Teilen des Grenzlandes von Pennsylvania machte ihn der mittlerweile zum Präsidenten aufgestiegene George Washington zum Kommissar für das Indianervolk der Irokesen und nahm ihn 1791 als Postminister in sein Kabinett auf. Diesen Posten behielt Pickering bis 1795. In diesem Jahr wurde er kurzfristig zum Kriegsminister und am 19. Dezember 1795 als Nachfolger von Edmund Randolph zum Außenminister ernannt.