Frelinghuysen war zwischen 1861 und 1867 Attorney General (Justizminister) im Staat New Jersey. Danach zog er als Nachfolger des verstorbenen William Wright erstmals in den Senat der Vereinigten Staaten ein, dem er bis zum 3. März 1869 angehörte; beim Wiederwahlversuch scheiterte er am Demokraten John P. Stockton. 1870 wurde er von Präsident Ulysses S. Grant zum Botschafter der Vereinigten Staaten im Vereinigten Königreich berufen, wobei er John Lothrop Motley nachfolgen sollte, doch lehnte er diese Ernennung ab. Zwischen 1871 und 1877 wurde er wieder Mitglied des US-Senats, wo er sich bei Redebeiträgen und in der Arbeit der Ausschüsse hervortat. Frelinghuysen war entschiedener Gegner der Rekonstruktionsmaßnahmen des Präsidenten Andrew Johnson. In dessen Amtsenthebungsverfahren stimmte er bei den meisten Anklagepunkten für „schuldig“.