I 1948 etterfulgte han erkebiskop Conrad Gröber som erkebiskop av Freiburg im Breisgau. Han ble bispeviet 28. oktober 1948 av kardinal Josef Frings; medkonsekratorer var biskop Albert Stohr av Mainz, og Wilhelm Burger, hjelpebiskop i Freiburg im Breisgau. Rauch utøvde embedet til sin død.