語り手はアルベルチーヌと暮らし始めたものの、病弱で家からなかなか出られず、監視役としてつけたアンドレと一緒に出かけていくアルベルチーヌに疑惑と嫉妬を募らせていく。その後、語り手はヴェルデュラン家の夜会に赴く。そこではシャルリュス男爵の後ろ盾でモレルを称える音楽会が催されるが、しかし客に無視されて気分を害したヴェルデュラン夫人のためにシャルリュス男爵とモレルは仲違いしてしまう。
その音楽会で、語り手は「七重奏曲」に聴き入り、それがヴァントゥイユの遺作だと気づく。そして音楽の与える喜びに匹敵するような作品をいつか自分が創造できるのか自問する。
一方、語り手はアルベルチーヌに対して募っていく疑念と嫉妬に苦しみ、彼女との間の諍いが起こるようになっていく。そして彼女と別れることを考えるようになるが、そのことをほのめかした矢先に、アルベルチーヌは不意に語り手の家から立ち去ってしまう。
語り手は、アルベルチーヌが身をよせたトゥーレーヌのボンタン夫人（アルベルチーヌの伯母）の元へサン＝ルーを密使として送り、また夫人の気を引くために、手練手管を用いた内容の手紙を送って、彼女を自分の元に戻らせようとする。しかし、そのうちにボンタン夫人から、アルベルチーヌが乗馬中の事故で死亡したという知らせが届く。「自分をもう一度受け入れて欲しい」「戻りたい」という内容のアルベルチーヌからの手紙が届いたのは、その知らせの後だった。
語り手は、彼女を失った悲しみに加えて、その死後もなお彼女の同性愛趣味に対する嫉妬に激しく苦しめられる。しかし、その苦しみを他人に語り時間が経つにつれて、少しずつ和らいでいく。そして、母オデットの再婚によってフォルシュヴィル嬢となっていた初恋のジルベルトと語り手は再会もした。その後、念願だったヴェネツィアに語り手は旅行するが、そのときにはもうアルベルチーヌへの想いはほとんど消え去っている。パリへの帰途で、語り手は、ジルベルトとサン＝ルーの結婚を知る。