東京市芝区（現港区）高輪に生まれる。国文学者・巖谷榮二の長男で、祖父はメルヘン作家・児童文学者の巖谷小波（季雄）、曾祖父は書家・医師・貴族院議員の巖谷一六（脩）。叔父に最高裁長官の藤林益三、文芸評論家の巌谷大四、従兄に国立第二病院長の泉周雄、英文学者で東大名誉教授の橋口稔、母方の叔父に渡米した画家・彫刻家の吉村二三生がいる。幼少時から文学、美術、漫画、映画、建築、園芸などに親しみ、東京の町々を歩く。区立中、都立高・神奈川県立高をへて、1961年に東京大学文科2類に入学し、世田谷区松原に住む。大学闘争と同人誌活動の間に扇田昭彦、藤井貞和らと親交をむすび、たまたま隣家に住んだ池田満寿夫、富岡多恵子とも交流。1963年、瀧口修造と、ついで澁澤龍彦と出会い、長く交友する。それをきっかけにシュルレアリスムを生涯のテーマときめ、東京大学文学部仏語仏文学科に進学。卒業論文にアンドレ・ブルトン論を書いて同大学院へ。シュルレアリスム研究者・批評家としてデビューし、詩や美術の雑誌にエッセーを発表しはじめる。修士論文にはシャルル・フーリエ論を書き、博士課程へ。1968年から70年にかけて、ワルドベルグ『シュルレアリスム』、ブルトン『ナジャ』、フーリエ『四運動の理論』の翻訳を刊行している。その間に石井恭二、松山俊太郎、加藤郁乎、種村季弘、野中ユリ、谷川晃一、加納光於、土方巽、唐十郎、金井久美子、金井美恵子らを知る。映画輸入会社の資料翻訳、非常勤講師などで自活していたが、父の死の直後の1970年、明治学院大学文学部フランス文学科の専任となる。助教授、教授を務め、2011年定年退任、名誉教授。そのころから、中央公論社『海』誌上に不定期連載「評伝アンドレ・ブルトン」をつづけ、ほかにシュルレアリスムの文学・美術をめぐるエッセーや、フーリエとユートピア思想・オカルト思想などについての論考を発表。1974年、シュルレアリスム100年を記念する桑原茂夫の企画で、中西夏之、野中ユリ、高梨豊の美術と写真による協力を得て、ブルトン『シュルレアリスム宣言・溶ける魚』初版の全訳を刊行した。人文書院の『アンドレ・ブルトン集成』と河出書房新社の「骰子の７の目　シュルレアリスムと画家たち」シリーズでは、監修者の瀧口修造を補佐し、白水社の「小説のシュルレアリスム」シリーズでは企画に加わるとともに、多くの巻の解説を書く。これらのシリーズのうち、ブルトン『失われた足跡』、パスロン『ルネ・マグリット』、イヴシッチ『トワイヤン』、ブルトン『ナジャ』初版本、ルネ・ドーマルの小説『類推の山』などの翻訳を担当。ほかにマンスールの小説集『充ち足りた死者たち』や、エルンストの『百頭女』をはじめとするコラージュ・ロマン三部作と『絵画の彼岸』などの訳書を上梓している。専門の著書としては、1976年に『幻視者たち　宇宙論的考察』と『シュルレアリスムと芸術』を、1977年に『ナジャ論』と『シュルレアリスムと小説』を刊行。雑誌『ユリイカ』別冊「シュルレアリスム」「ダダ・シュルレアリスム」の責任編集と執筆、また「遊びの百科全書」シリーズ『暗号通信』の監修と執筆などもしている。文学・映画・演劇・漫画などの批評書としては、1979年に『宇宙模型としての書物』と『映画の一季節』を刊行し、前者では稲垣足穂や花田清輝、手塚治虫や萩尾望都など、後者ではＳＦ映画や女性映画や日活ロマンポルノ、メリエスからブニュエルやオーソン・ウェルズの作品まで、また少女マンガやアニメーションなどもとりあげた。1979年、パリ滞在中に瀧口修造の訃報に接し、この先人についての論考や回想を執筆しはじめる。中西夏之、岡崎和郎、池田龍雄、合田佐和子、赤瀬川原平、秋山祐徳太子、高梨豊、またパリで知りあった堀内誠一、平沢淑子らのアーティストと交流。1980年代には『シュルレアリストたち　眼と不可思議』のほか、訳書『ダリ全集』『マッタ・形態学的神話Ｉ』などを刊行。その間に朝日新聞の「土曜の手帖」欄で匿名時評を展開し、1985年から３年間は同紙の書評委員をつとめる。1987年、澁澤龍彦が没して以来、故人との共著『裸婦の中の裸婦』、作家論『澁澤龍彦考』『澁澤龍彦の時空』などを刊行。『澁澤龍彦全集』『澁澤龍彦翻訳全集』の編集委員として出口裕弘、種村季弘、松山俊太郎と会議を重ね、多くの巻の解題を執筆。別巻の年譜や旅の日記、談話録などを校訂・構成し、種々の関連書も手がける。種村季弘とは、1991年にバルトルシャイティス『アベラシオン』を共訳してもいる。他方、世界・日本各地への旅をくりかえし、新しい紀行文学の分野をひらく。1991年の『ヨーロッパの不思議な町』以来、『アジアの不思議な町』『日本の不思議な宿』『フランスの不思議な町』『地中海の不思議な島』など。また1995年の『ヨーロッパ　100の庭園』以来、『イタリア　庭園の旅』『フランス　庭園の旅』を刊行し、近年におよぶ。これらの紀行書に用いた写真を中心に、個展や講演会が４度ひらかれ、自著以外でも写真が掲載・使用されるようになる。また『反ユートピアの旅』や『都市の魔法』のようなエッセー集では、旅や都市のテーマを広い視野にひろげている。シュルレアリスム関係では1996年に著した『シュルレアリスムとは何か』のほか、『シュルレアリスム宣言・溶ける魚』の増補新訳決定版と、『ナジャ』の著者改訂版の新訳決定版を岩波文庫に収録。ブルトン晩年の大著『シュルレアリスムと絵画』『魔術的芸術』を監修し、後者は谷川渥、星埜守之、鈴木雅雄、永井敦子ら若い研究者たちと共訳する。さらに塚原史との共訳でゲールの『ダダ・シュルレアリスム』を刊行。2004年に全国５美術館を巡回した『マン・レイ「私は謎だ」』展では、展覧会監修とカタログの編集・執筆を手がけた。その間、のちに備前焼の人間国宝となる伊勢崎惇、版画家の山下清澄、油彩画家の河原朝雄、オブジェ作家の桑原弘明、絵本作家の中江嘉夫と上野紀子の夫妻、パリに住む画家・オブジェ作家の大月雄二郎、日記作家の武田百合子らと出会い、2004年には彼らをふくむ多くのアーティストとの交友の結実でもあった批評と回想の書、『封印された星　瀧口修造と日本のアーティストたち』を上梓する。2007年、「澁澤龍彦 没後20年記念展」を監修し、カタログを兼ねた『澁澤龍彦  幻想美術館』を刊行。こうした展覧会の折などによく講演をしたが、テーマは瀧口修造やマン・レイや澁澤龍彦のほか、シュルレアリスムの文学と美術、ミロやアルプから旅、都市、庭園まで、また岡本太郎、小泉八雲、植田正治、島崎藤村にもおよんでいる。小泉八雲については小泉凡、佐野史郎とのシンポジウムや公開対談をし、2006年の植田正治写真集『童暦』のコロタイプ印刷による限定出版に際しては、別刷の冊子のテクスト「植田正治とメルヘン」を著した。近年もアーティストとの出会いや交友の結果、さまざまな著作が生まれつつある。桑原弘明とは、アートスペース美蕾樹で写真とオブジェのコラボレーション展「パティオの快楽」を試みたのち、2005年にはスコープの写真を用いたメルヘン『スコープ少年の不思議な旅』を共作。翌年のメルヘン『扉の国のチコ』は、上野紀子の作画・中江嘉夫の構成により、瀧口修造にささげた絵本である。2008年には『旅の仲間   澁澤龍彦・堀内誠一往復書簡集』を編集し、もうひとりの「旅の仲間」として解説・脚注を書いた。2009年、数年前に出会ったドイツ人の女性画家アンティエ・グメルスの画集『メルヘン・透視・錬金術  アンティエ・グメルスの旅』を著し、2010年には、コラージュ作家・パフォーマー上原誠一郎のレーゲンスブルク美術館での展覧会のために、カタログ序文を寄せた。さらに、高崎俊夫の編集によって、チャールズ・ロートンやフランジュ、フェリーニ、タルコフスキーやアンゲロプロス、グリモーやゼーマンなどを扱うエッセー集『映画 幻想の季節』が出ている。