I 1870 ble Frelinghuysen utnevnt til USAs minister til Storbritannia, men han takket nei til embetet. I slutten av desember 1881 ble han utnevnt til utenriksminister av president Chester A. Arthur, et verv han takket ja til og som varte til begynnelsen av mars 1885 da Arthurs periode gikk ut og ble erstattet av Grover Cleveland.