Den 14. desember 1891 ble Schwebach utnevnt til den tredje biskopen av bispedømmet La Crosse av pave Leo XIII. Han ble bispeviet den 25. februar 1892 av erkebiskop Frederick Katzer, med biskopene John Janssen og Joseph Cotter som medkonsekratorer. I løpet av sin 29-årige periode ble han kjent som en bygger av kirkelige institusjoner. Blant dem var for foreldreløse barn.