1980 zog er in den Senat der Vereinigten Staaten ein und löste dort Jacob K. Javits ab, den er zuvor in der Primary der Republikaner besiegt hatte. Er war Vorsitzender des "Senate Committee on Banking, Housing and Urban Affairs" und Mitglied des "Senate Finance Committee". 1992 sprach und sang er den ersten langen Filibuster mit über 15 Stunden seit Einführung der Live-Übertragungen aus dem US-Senat, um den Wegzug einer Schreibmaschinenfabrik aus seinem Heimatstaat New York zu verhindern. Zwischen 1995 und 1996 war er Vorsitzender des Senate Special Whitewater Committee. 1998 stellte er sich erneut zur Wahl, unterlag jedoch seinem demokratischen Konkurrenten Chuck Schumer und schied am 3. Januar 1999 aus dem Senat aus.