1486年から1505年にかけてアウクスブルク司教領主は中世都市の上にホーエ・シュロス（高い城館）を建造した。当時の後期ゴシック様式の城館は、その後は聖界領主の夏の離宮として用いられた。アルゴイ地方では大きな城で、ゴシック建築の城郭建築として大変良く保存されている。フュッセンのランドマークとなっているこの城館は、バイエルン州の絵画コレクションの展示支所となっており、ゴシック様式後期およびルネサンス期の美術品を中心に展示している。カトリックの都市であったフュッセンは、シュマルカルデン戦争の際にはプロテスタントの傭兵隊長ゼバスティアン・シェルトリン率いる高地ドイツ都市軍によって、1546年7月10日に占領された。現在の修道院教会は1701年から1726年に建設された。