1950年に東京教育大学附属中学校・高等学校（現・筑波大学附属中学校・高等学校）を卒業。新制大学第一期生で、1953年、東京大学教養学部教養学科フランス分科第一期生として卒業、続いて大学院比較文学比較文化専修課程第一期生。島田謹二に比較文学を学ぶ。修士修了ののちフランスへ留学、1957年帰国、1963年東大教養学部専任講師、1965年助教授、1966年プリンストン大学研究員、1968年に初の単著『大君の使節』を刊行、1977年東京大学教授。1985年　東京大学より文学博士。論文の題は　「絵画の領分 : 近代日本比較文化史研究 」。1983年から1988年まで比較文学比較文化研究室主任教授、1991年国際日本文化研究センター教授（東京大学併任教授）、1992年東京大学定年退官、名誉教授。1997年国際日本文化研究センター定年退官、同名誉教授。大正大学教授、98年岡崎市美術博物館館長（-2012年）、1999年京都造形芸術大学教授、学長を歴任し、2008年名誉学長。新しい歴史教科書をつくる会の理事を務める。2006年11月1日源氏物語千年紀の呼びかけ人となる。2010年、静岡県立美術館館長（-2017年）。2011年『藝術の国日本　画文交響』で蓮如賞受賞。2012年現代俳句大賞受賞。2014年歌会始召人。当初、フランスに留学してその詩に親しんでいたが、蘭学研究を始めて近世以降の東西交渉史に関心を持ち、ついで近代日本絵画における西洋文化の影響、岩倉使節団を論じ、徳川時代の平和を、パクス・ロマーナをもじって「パックス・トクガワーナ」と名づけ、徳川時代再評価の先鞭をつけた。大学院では福田眞人・杉田英明を含む数多くの後進を育成した。1993年より2010年までサントリー学芸賞文学・美術部門選考委員を務め、弟子には受賞者が多い。
東京府（現・東京都）生まれだが、本籍は山形県。父は中世日本史を専攻した歴史学者芳賀幸四郎で、父が左翼活動で東京高等師範学校を退学になった直後に生まれている。東北大学教授の考古学者・芳賀満は長男。東北大学准教授の美術史学者・芳賀京子はその妻。東京高等師範学校附属小学校（現・筑波大学附属小学校）では、同じクラス（第1部）からのちに東大教授となった者が五人いた。平川祐弘、石井進、高階秀爾、平田賢である。高階とは後に京都造形芸術大学においても同僚となり、芳賀が京都造形芸術大学学長、高階が京都造形芸術大学大学院長を務めた。平川と伊東俊太郎とは東京大学教養学部の同僚であり、伊東とは後に国際日本文化研究センターにおいても同僚となる。
沼津に初めて本拠を置いた近世大名は、相模小田原藩主・大久保相模守忠隣の叔父に当たる治右衛門忠佐である。忠佐は慶長6年（1601年）2月、上総茂原から2万石で当時の三枚橋城に入るが、入封から12年後の慶長18年（1613年）に死去し、嫡子の大久保忠兼も同年に父に先立って死去していたため、無嗣断絶で改易となった。そのため、大きな事跡は残されていない。その後、沼津の地は駿河府中藩が置かれたときはその領地となり、それ以外の時期は幕府領となり、城も破却された。沼津に再び大名の本拠が置かれるのは安永6年（1777年）11月6日、水野出羽守忠友が三河大浜藩より2万石で転封してきたことによる。忠友は享保10年（1725年）に殿中刃傷により改易となった信濃松本藩主・水野隼人正忠恒の従兄弟であり、寛保2年（1742年）に忠恒の名跡を継いだ父・出羽守忠穀の跡を継ぎ、明和5年（1768年）に加増により大浜で1万3000石を領して大名に復帰していた。沼津転封後幕府の命により当地に築城したのである。なお、忠友は天明元年（1781年）9月18日に5000石を加増され、天明5年（1785年）5月29日にも5000石を加増された。第2代藩主・水野忠成は徳川家斉時代に老中として権勢を奮い、田沼意次以上に賄賂を横行させる「賄賂政治」を行なった人物として有名である。なお、忠成も文政4年（1821年）11月11日に1万石の加増を受け、文政12年（1829年）12月6日にも1万石の加増を受けた。忠成の死後、第3代藩主・水野忠義や第4代藩主・水野忠武らは、天保の改革を行なった水野忠邦から家斉派に対する粛清として、様々な普請を負担するという報復を受けた。第6代藩主・水野忠寛は井伊直弼に同調して側用人として幕末期に権勢を奮った。第7代藩主・水野忠誠は佐幕派として功を挙げた。第8代藩主・水野忠敬は慶応4年（1868年）の戊辰戦争で新政府に協力したが、徳川家達が東海地方に入ってきたため、新政府の命により、明治元年（1868年）7月に上総菊間藩に移封され、沼津藩は廃藩となった。