Allerdings wurden in der Weltwirtschaftskrise und anschließenden Inflationszeit zum Überleben fast alle Kunstgegenstände verkauft oder anderweitig in Zahlung gegeben. Der aufwendige Lebenswandel konnte von der Familie nicht gehalten werden. Die nun leere Prachtvilla wurde im Jahr 1937 von der Stadt Dresden übernommen. Im Jahr 1945 richtete die Stadt, durch die verheerenden Bombenangriffe bedingt, eine Notverpflegungsstelle für Ausgebombte, Flüchtlinge und Heimatvertriebene ein. Später wurden die Räume für eine Zentrale der Blasewitzer Einwohner zur Ausgabe von Lebensmittelmarken und rationierten Lebensmitteln genutzt. Bereits im Juni 1945 wurde der Villa mit der Gründung einer Musikschule durch Musikpädagogen und Musiker eine künstlerische neue Bedeutung gegeben. Mit bescheidenen Mitteln und mit der Unterstützung der Sowjetischen Militäradministration entstand eine Akademie für Musik und Theater, im Herbst 1952 zur Hochschule für Musik erhoben. In den 1990er Jahren nutzte das Sächsische Landesgymnasium „Carl Maria von Weber“ die Villa als Spezialschule für Musik. In den Jahren 2007 bis 2008 erfolgten umfangreiche Sanierungsmaßnahmen. Dabei übernahmen das Architektenbüro Jörg Baarß und Klaus Löschner in enger Zusammenarbeit mit dem Landesamt für Denkmalpflege Sachsen die Gesamtsanierungen einschließlich Akustik und Möblierung. Die Gesamtkosten betrugen 3,7 Millionen Euro. Die Firma Schmiede Neuhammer aus Olbernhau restaurierte die historischen Oberlichtgitter, Treppengeländer, Zierelemente, Füllungen an der Sandsteintreppe und Zaunelemente. Im parkähnlichen Garten wurden abseits zwei moderne Internatsgebäude errichtet.