米国東海岸の有名大学陸上部のスターで新聞部長でもあったベンジャミン・ブラドック（ダスティン・ホフマン）は、卒業を機に西海岸のカリフォルニア州南部のパサデナへ帰郷する。友人親戚一同が集った卒業記念パーティーで、将来を嘱望される若者に人々は陽気に話しかける。そのパーティーで、父親（ウィリアム・ダニエルズ）の職業上のパートナーであるミスター・ロビンソンの妻のミセス・ロビンソン（アン・バンクロフト）と再会する。卒業記念のプレゼント、赤いアルファロメオ・スパイダー・デュエットでミセス・ロビンソンを送ったベンジャミンは、彼女から思わぬ誘惑を受ける。
一度は拒んだベンジャミンだったが、いま目標を失っている彼に示された道は他になかった。大学院への進学を期待されながらもどこに進学するか決めないでうつろな夏休みが始まる。夜ごとの逢瀬。それでもぬぐい去れない虚無感。心配した両親は、同時期に北部のバークレーの大学から帰郷した幼なじみのエレーン・ロビンソン（キャサリン・ロス）をデートに誘えという。一度きりのデートでわざと嫌われるようにし向けるはずが、ベンジャミンはエレーンの一途さに打たれ、二度目のデートを約束してしまう。
二度目のデートの当日、約束の場所に来たのはミセス・ロビンソンだった。彼女はベンジャミンにエレーンと別れるように迫り、別れないならベンジャミンと交わした情事を娘に暴露すると脅す。焦燥したベンジャミンはエレーンに自ら以前話した不倫の相手は、他ならぬあなたの母親だと告白する。ショックを受けたエレーンは、詳しい話も聞かずに、ベンジャミンを追い出す。
エレーンを忘れられないベンジャミンは、彼女の大学に押しかけ、大学近くにアパートを借り、エレーンを追いかける。結婚しようという彼の言葉を受け入れかけたある日、しかし、彼女は退学していた。そしてベンジャミンはエレーンが医学部卒業の男と結婚することを知る。
どうにか彼女の結婚が執り行われているサンタバーバラにある教会を聞きだして、そこまで駆けつけたベンジャミンは、エレーンと新郎が今まさに誓いの口づけをした場面で叫ぶ。「エレーン、エレーン！」。ベンジャミンへの愛に気づくエレーンはそれに答える。「ベン！」。