В конце своей политической карьеры Ван Свитен всё чаще встречался с препятствиями и проблемами. В 1787 году император развязал «катастрофическую, тщетную и дорогостоящую» войну против турок, которая привела в смятение австрийское общество и подорвала его прежние попытки реформ. Тилль пишет:Иосиф попытался переложить вину за события на … Ван Свитена. В качестве президента Комиссии по цензуре [он] был более либеральным, чем Иосиф хотел одобрить … Как министр образования [он] стремился лишить образование любого религиозного характера; его больше беспокоили опасности религиозной ортодоксии, чем ереси, и он считал, что студентов следует обучать системе светских ценностей, основанной на «философии». Но его реформы, которые указали на гораздо более радикальный отказ от религиозного образования, чем Иосиф действительно был готов принять, потерпели неудачу. В 1790 году Иосиф написал канцлеру Коловрату, выражая свое недовольство: «Поскольку к важнейшим аспектам образования молодёжи, а именно религии и морали, относятся слишком легкомысленно, поскольку … не развивается чувство истинного долга, государство лишено существенных преимуществ воспитания здравомыслящих и воспитанных граждан».Император был смертельно болен, когда написал процитированное письмо, и умер в том же году. Его заменил его более консервативный брат Леопольд, что ещё больше подорвало позиции Ван Свитена. Произошла «ожесточённая» (Олесон) борьба за власть, которую Ван Свитен в конечном итоге проиграл. Он был освобождён от занимаемой должности 5 декабря 1791 года, по совпадению в день смерти его протеже Моцарта.