Under austrofascismens fremvekst tidlig i 1930-årene kom hun på avstand fra både sitt politiske parti og fra sønnen Ernst Rüdiger Starhemberg. Kansler Engelbert Dollfuss skaffet henne en stilling ved Folkeforbundet i 1934. Etter det østrrikske til Nazi-Tyskland i 1938 ble Franziska Starhemberg arrestert for en kort tid, og deretter trakk hun seg tilbake fra det offentlige liv.