Im November 1984 errang Kerry einen Sitz im Senat für den US-Staat Massachusetts und wurde im Januar 1985 vereidigt. In den Jahren 1990, 1996 (gegen den damaligen republikanischen Gouverneur von Massachusetts, Bill Weld), 2002 und 2008 wurde er wiedergewählt. Kerry wird von US-amerikanischen Kommentatoren oft als "kleiner JFK" bezeichnet. Nicht nur sind ihre Initialen gleich, auch war John F. Kennedy wie Kerry vor seinem Amtsantritt Senator für Massachusetts. Im Senat fiel Kerry vor allem durch seine Arbeit in Untersuchungskommissionen auf – insbesondere zur Iran-Contra-Affäre. Kerry arbeitete maßgeblich daran, die Aussöhnung zwischen den USA und dem ehemaligen Kriegsgegner Vietnam auf politischer Ebene in die Wege zu leiten. Er stimmte im Senat gegen den zweiten (von 1991), aber für den dritten Golfkrieg. Außerdem war er acht Jahre lang Mitglied des Geheimdienstausschusses des Senats. Seit dem 6. Januar 2009 hatte er als Nachfolger des zum US-Vizepräsidenten gewählten Joe Biden den Vorsitz im Ausschuss für Außenpolitik inne; zuvor stand er dem Ausschuss für kleine und mittlere Unternehmen vor. Ferner saß er unter anderem im Ausschuss für Handel, Wissenschaft und Verkehr sowie im Finanzausschuss.