シュヴァンガウ
ヨハン・パウムガルトナーは荒廃していたシュヴァンシュタイン城(現在のホーエンシュヴァンガウ城)を建て直し、フォルダーシュヴァンガウとヒンターシュヴァンガウの二重城砦やフラウエンシュタイン城は放棄された。
1549年にヨハン・パウムガルトナーは亡くなり、2人の息子、ダーフィトとゲオルクが領主権を相続した。 1561年にダーフィト・パウムガルトナーはホーエンシュヴァンガウをブランデンブルク=アンスバッハ=クルムバッハ辺境伯ゲオルク・フリードリヒに質入れした。ゲオルク・フリードリヒは、1567年にこの領主権をバイエルン公アルブレヒト5世に売却した。 パウムガルトナー家の抗議は退けられ、ホーエンシュヴァンガウを含むこの地は帝国からバイエルン公へのレーエンと認められた。三十年戦争の戦乱に加え、シュヴァンガウにはさらなる困難が襲った。ペストである。 1635年から1636年にわたって流行し、人口を極端に減少させた。死者は夜の間に手押し車で聖コロマン教会裏のペスト墓地に運ばれた。この大災害の後、町にはチロル地方やエンガディーン地方からの移住者が住み着いた。おそらく、後者が「シュプフェ」と呼ばれるシュヴァンガウに特徴的な建築様式をもたらした。
続く数十年間、シュヴァンガウの城は何度も城主を変えた。1800年から1809年のナポレオン戦争の間に城はひどく損壊し、1820年には単なる「廃墟」として売却された。1832年に獲得した王太子マクシミリアン、後のバイエルン王マクシミリアン2世はこの廃墟を購入し、ドミニクス・クヴァグリオの計画・設計に基づいてネオゴシック様式の城に改築した(1832年 - 1836年)。