Ve stejné době již Nacistické Německo připravovalo obsazení Rakouska, přičemž tyto snahy vyvrcholily tzv. Anšlusem 12. března 1938. Krátce na to nechal syn Jana Nepomuka II. JUDr. Adolf Schwarzenberg vyvěsit na rodinném paláci ve Vídni černé prapory jako výraz odporu vůči nacismu. Poté, co byly i na území Rakouska zavedeny rasistické zákony a Židům byl například zakázán vstup do městských parků, nechal otevřít palácové zahrady a u vchodu vyvěsit oznámení "Zde židé vítáni". Mezitím se stav knížete Jana Nepomuka II. nadále zhoršoval a 1. října 1938 v přítomnosti své choti a syna Adolfa zemřel.