Schwebach ble ordinert til prest for bispedømmet La Crosse av biskop Thomas Grace den 16. juni 1870. Deretter tjente han som sogneprest ved St. Mary's i 22 år, i løpet av denne tiden bygget han ny kirke, skole og prestegård. Han etablerte også i 1887. I tillegg til sine pastorale oppgaver, tjente Schwebach som generalvikar for bispedømmet fra 1882 til 1892.