Pave Johannes Paul II utnevnte ham til hjelpebiskop i erkebispedømmet Wien og titulærbiskop av den 15. oktober 2001. Schwarz mottok sin bispeordinasjon den påfølgende 25. november av kardinalerkebiskop Christoph Schönborn i Stefansdomen i Wien. Medkonsekrerende var biskop Alois Kothgasser S.D.B. av Innsbruck og erkebiskop Ján Sokol av Bratislava-Trnava.