築城時期は不詳だが室町時代といわれ、常陸守護・佐竹氏庶流の北酒出氏の分家・依上氏の当主依上顕義が築城したとされる。別称を塙館ともいう。代々、依上氏の居城であったが、依上義長に実子がなかったため、佐竹氏の庶流　山入氏より養子が入り、依上宗義が城主となった。以降、山入氏の実質的な一族として佐竹氏の家督相続において山入氏が本宗家である佐竹氏に背くと依上氏も山入派として行動した。殊に山入氏とその一族である依上氏は室町幕府における関東の統治代行者である鎌倉公方ではなく、足利将軍家を直接の主君とする京都扶持衆となっており、鎌倉公方と公方に忠節を尽くす守護　佐竹氏とは緊張関係を保つようになっていた。その後の応永23年（1416年）、犬懸上杉家の当主で前関東管領上杉禅秀が足利満隆を奉じて鎌倉公方足利持氏に謀叛した上杉禅秀の乱において依上氏が禅秀方に立ったことで、依上氏とその居城である依上城は鎌倉公方の追討を受けることとなり、公方から派遣された里見家基の攻撃を受け落城した。以来、廃城となり、現在は城址のみ残る。
京都府京都市生まれ。1944年東京帝国大学文学部美学美術史学科卒。旧制第三高等学校教授、京都帝国大学、九州大学助教授を勤め、1970年東京大学文学部助教授、1971年教授、1980年定年退官、名誉教授、国立西洋美術館長。1990年新潟県立近代美術館長。1991年春、勲二等瑞宝章受勲。ミュンヘンの中央美術史研究所において研究し、デューラーおよびネーデルラント等の北方ルネサンスの美術に業績があり、1975年以来ライヘナウの修道院聖堂の実地調査を行った。1986年に、旧西ドイツ政府から、ゲーテメダルを受けている。1993年、フランス芸術文化勲章オフィシエを受章。長男の前川眞一は東京工業大学教授、次男の前川喜久雄は国立国語研究所教授。2010年1月15日、心不全のために逝去。89歳没。
江戸時代には、庶民の間でも富士山の登拜が広く行なわれるようになった。これは戦国時代から江戸時代初期（16世紀後半から17世紀前半）に富士山麓の人穴で修行した角行藤仏（天文10年（1541年） - 正保3年（1646年）が行なった富士信仰が起源とされる。庶民は富士山への信仰を強くし、特に江戸の各地には富士山を遥拝する富士塚が多く作られた。富士塚は土を盛って作られた人工の小さな山で、富士山がよく見えるところに作られ、山頂には浅間神社が祀られて、富士山に行くのが難しい人でも擬似的に登拜を体験できるものである。こうした富士山信仰の高まりを受け、江戸時代には富士山信仰を基盤とした神仏混交の新宗教が多数登場した。新宗教は江戸で布教を行い富士講を組織して、江戸幕府が無視できない規模になることもあり、幕府はしばしば富士講禁制の町触を出した。例えば、1774年（安永3年）から1849年（嘉永2年）に、江戸町奉行所は7回の禁制の町触を出した。これらの新宗教は明治期の激動を経て、今でも実行教・丸山教・扶桑教などと脈絡を保っている。
富士山頂には富士山本宮浅間大社の奥宮があり、富士山の神と木花開耶姫命（このはなさくやひめ）を祭る。この女神は「火の神」ともされるが、富士山本宮浅間大社の社伝では火を鎮める「水の神」とされる。富士山の神が木花開耶姫命とされるようになった時期や由来は不詳。浅間大社は浅間造という特殊な神社建築からなり、富士山の神様にお供え物をするという意味で富士山が真正面にみえる位置まで高くしたと言われる。
神体山（しんたいさん）とは主に神道において神が宿るとされる山岳信仰や神奈備（かむなび・神々が神留まる森林を抱く山）の山をいう。また、「霊峰」とも呼ばれ、霊峰富士とされる富士山が代表的なものである。また峠や坂という小さな峰も神域や神が宿る場所とし畏怖畏敬された。
この吉田城は豊川と朝倉川合流地点に立地。現在に至るまで23度にわたって発掘調査が行われている。その成果によると、戦国期の吉田城は土盛と素掘りの堀による簡素な構造だったと考えられる。池田輝政による改築以降、北側に川を背にして本丸があり、それを囲むように二の丸、三の丸、侍屋敷が囲むという半円郭式の平城であった。ただし、掘割や土塁は戦国期の吉田城と平行線状に並んでおり、縄張りは戦国期のものをある程度踏襲されていることが知れる。本丸は北側の川に面し、切り立った石垣が組まれていた。南側は囲むように石垣と隅櫓で構築され、その外側には空堀が掘られていた。天守は無く、隅櫓の一つである鉄櫓が天守の代わりをしていたと考えられている。本丸御殿が江戸時代の深溝松平氏が治めた当時に建設されたが、宝永4年（1707年）の宝永地震で崩壊し、以後再建されなかった。再建鉄櫓を支える石垣は池田輝政当時のものといわれる。その他の部分の石垣については、慶長期の名古屋城築城の際に余った石垣を転用している部分が見受けられ、石垣の中には天下普請（多くの大名が築城に動員されたこと）であったことを示す各大名家の家紋などが刻まれているものがある。二の丸は土塁で囲まれており、二の丸御殿や弾薬庫があった。また二の丸の北、本丸の東側には細長い形状の金柑丸があった。牧野古白による築城当時の本丸はこのあたりにあったといわれている。三の丸も土塁で囲まれ、米蔵や土蔵、長屋などがあり、その外側は侍屋敷が広がっていた。場外とは総堀で囲われており、当初空堀であったが、承応3年（1654年）、譜代の小笠原忠知によって向山大池（豊橋市向山町）が築かれ、水を引いた。大手門は札木町（豊橋市札木町）付近にあった。なお、城全体の敷地は名古屋城よりも広い。