I 1995 frasa han seg den sjelesørgeriske ledelsen for erkebispedømmet etter at det var fremkommet anklager om seksuelt misbruk mot ham. Etter at pave Johannes Paul II oppfordret ham det, frasa han seg alle kirkelige plikter og rettigheter som erkebiskop og kardinal og forlot Østerrike i 1998. Han innrømmet aldri noen skyld. Noen borgerlig rettsforfølgelse fant aldri sted, og anklagene mot ham var ikke fremkommet før mange år etter den borgerlige retts foreldelsesfrister var utløpt. Etter Vatikanets ønske tilbrakte han flere måneder nær Dresden i Tyskland. Senere levde han som pensjonist i prioratet Sankt Josef i Maria Roggendorf i Østerrike.