Da han nådde aldersgrensen på 75 år, innsendte biskop Schwarz sin aldersbetingede avskjedssøknad i henhold til kanonisk lov. Den 18. november 2015 aksepterte pave Frans denne, og utnevnte Manfred Scheuer til hans etterfølger. Den 17. januar 2016 overrakte Schwarz bispestaven til sin etterfølger ved dennes innsettelse i Mariendom i Linz.