Etter den amerikanske revolusjonen hadde Pickering flere forsøk på å gjøre en finansiell karriere, men mislyktes flere ganger og begynte i stedet med å arbeide innen en rekke offentlige stillinger i Luzerne County i delstaten Pennsylvania. I 1791 ble han utnevnt til postminister av George Washington, et verv han beholdt til januar 1795 da han tok over som krigsminister frem til desember samme år. Etter dette ble han utnevnt til landets 3. utenriksminister etter Edmund Randolph, et verv han også fikk beholde til 1800 selv etter at John Adams ble valgt til ny president i 1797.