連合軍のボルネオ島への空襲が相次ぐようになり、1945年1月に日本軍は空港の修復を断念。アメリカ軍がボルネオ島西海岸に上陸する判断した日本軍は、日本軍部隊を600km離れたアピに移動させ、それと共に捕虜をボルネオ島西、260km離れたラナウに移動させる事を決定したが、特にサンダカンからラナウまでの道のりは、連合軍の空爆を避けるために密林や湿地などの険しい道のりであった。
1951年に東京都世田谷区の裕福な家庭に生まれる。父は国際政治学者の桃井真、母の悦子はアトリエを構える芸術家、4人兄弟で上の兄は脚本家の桃井章。2番目の兄は科学者。弟は銀行員。女優で人形作家の結城美栄子は母方の従姉。3歳からクラシックバレエを始め、中学生の時にイギリスのロイヤル・バレエ・アカデミーに単身留学。しかし、現実の厳しさを知り、挫折。桃井はこの時のことを振り返り「同じ年くらいの白人の子達と並ぶと、自分が“みにくいアヒルの子”という感じ。自分を醜いと思わざるを得なかった」と語っている帰国後、女子美術大学付属高等学校・中学校へ入学。同校在学中は東京バレエ団に所属。同校卒業と同時にバレエを辞め、両親に内緒で演劇を目指し文学座付属演劇研究所（養成所）第11期生に研究生として入る。1971年に映画『愛ふたたび』（市川崑監督）にて浅丘ルリ子の妹役でデビュー。同年、ATG映画『あらかじめ失われた恋人たちよ』（田原総一朗監督）にてヒロインを演じ、本格的に映画デビュー。『あらかじめ失われた恋人たちよ』の出演が両親に知られ、父に勘当を言い渡され、家出。その後、羽田から広島県江田島に行き、地元の飲食店で住み込みで働く。4ヵ月後、「かおり許す、父」という新聞に載った父の伝言を目にして家に戻ることはできたが、元の生活には戻れないと思い、再び女優として活動を開始する。『赤い鳥逃げた?』の助監督・長谷川和彦に「文学座を辞めろ」と言われ、文学座を1972年退団し、1973年公開の同作で女優復帰。20代前半の時に撮影現場で腹部に違和感を覚え、歩くのも困難になり、帰り道の山道で倒れる。幸い通りかかったトラックの運転手に発見され一命はとりとめたが、その後の検査で腎臓結核であることが分かり、片方の腎臓を摘出。その後順調に回復し、萩原健一の強い要望からドラマ『傷だらけの天使』（第14話「母のない子に浜千鳥を」）へのゲスト出演で復帰を果たした。1973年、後に本人が最も頼りにしたという（2018.8.1NHKBS早坂暁を探して～桃井かおりの暁さん遍路～での本人談）脚本家・早坂暁の指名で、はじめてNHKドラマ「たった一人の反乱」に出演する。同番組では「私という、桃井かおりという役者の80％は早坂さんの作品でできている。暁さんは私の役者道にいつもいてくれて、助けてくれる神様だった。暁さんが死んだら役者を辞めようと思っていた。」と話している。しかし、番組中で生前の早坂が「かおりにやらせたい」と残していた小説「私が殺したゴッホ」を呈示され、「いい感じに宿題残してくれる、生き延びられるようにしてくれる。まさに暁さんだ」と結んでいる。1975年、倉本聰脚本による日本テレビ系列『前略おふくろ様』の海役でお茶の間でブレイク。1977年公開の山田洋次の保守的な『幸福の黄色いハンカチ』では、それまでの気怠く性に奔放な女性といった役柄が多かった桃井の、別な一面を引き出し、第1回日本アカデミー賞助演女優賞、ブルーリボン賞などを受賞した。1979年公開の『もう頰づえはつかない』で映画初主演。1981年、突然、単身ニューヨークへ渡る。先述の本人談によると、帰国後は役者を辞めて八ヶ岳で生活していたが、早坂暁から電話があり「白いごはんのような俳優になりなさい」と『花へんろ』の主役を打診されたことで本格的に復帰する。この『花へんろ』で、その後12年にわたって主役・静子を演じるという、役者にとってかけがえのない時間を過ごすことになる。1991年にはオムニバス映画『ご挨拶』の第3話「NOW IT'S THE BEST MOMEN0T IN OUR LIFE!!」で映画監督デビュー（モモイ・カオリ名義）。2004年に父が他界。父の死を乗り越えるために、もっと辛い状況に身を置くことを決意し、ハリウッド映画のオーディションを次々に受ける。2005年に『SAYURI』でハリウッド映画初出演。翌2006年にアメリカ合衆国映画俳優組合に加入。2006年に『無花果の顔』で長編映画監督デビュー。日本政府より紫綬褒章の受章を伝達され、2008年4月28日、各社報道によって公表された。その受章にあたり、生年がそれまで公表されていた1952年ではなく、1951年であることが判明。近年は女優業に留まらず、ジュエリーデザイン、雑誌創刊など、活動の幅を広げている。2009年に女子美術大学・女子美術大学短期大学部客員教授に就任。2015年1月21日に、なかにし礼の作詩家・作家生活50周年を記念した、企画アルバムで、日本コロムビア（株）よりリリースされた「なかにし礼と12人の女優たち」で、アン・ルイスの「グッド・バイ・マイ・ラブ」、2016年9月28日リリースの第2弾の「なかにし礼と13人の女優たち」で細川たかし の「心のこり」を歌った。私生活では、長らく独身だったが、事実婚状態だった年上の音楽プロデューサーと2015年1月に婚姻届を提出し結婚した。同年10月16日京都国際映画祭で行った監督・主演映画「Hee And She」のトークイベントで公表した。2019年3月の萩原健一の逝去時には、追悼コメントを発表した。