Nach dem Ende seiner Amtszeit bewarb sich Nelson bei der Wahl zum US-Senat 1996 und unterlag gegen den Republikaner Chuck Hagel, konnte sich aber bei der Senatswahl im Jahr 2000 um die Nachfolge von US-Senator Bob Kerrey gegen Don Stenberg durchsetzen, den republikanischen Attorney General von Nebraska. Nelson gewann knapp mit 50,9 Prozent der Stimmen und zog am 3. Januar 2001 in den Senat der Vereinigten Staaten ein. Bei der nächsten Wahl 2006 gelang ihm gegen Pete Ricketts die Wiederwahl; diesmal erzielte er mit 63,9 Prozent der Stimmen eine deutliche Mehrheit. Er war Mitglied des Landwirtschafts-, des Bewilligungs-, des Streitkräfte- und des Geschäftsordnungsausschusses. Nelson galt als das konservativste Mitglied der demokratischen Fraktion und stimmte häufig mit den Republikanern. Als einziger Demokrat votierte er im Jahr 2010 gegen die Nominierung von Elena Kagan als Richterin für den Obersten Gerichtshof.