Den 29. april 1938 utnevnte pave Pius XI ham som biskop av Liepāja. Han ble bispeviet den 29. juni samme år av den pavelige nuntius til Latvia, titulærerkebiskop Antonino Arata, assistert av biskopene Jāzeps Rancans og Boļeslavs Sloskāns. Etter at sovjetiske tropper okkuperte Latvia i 1940, ble biskop Urbšs trakassert av sovjeterne, og etter invasjonen av tyske tropper i 1941 av tyskerne. I forbindelse med at Latvia ble re-okkupert av sovjethæren i 1944, måtte han, i likhet med sine medbiskoper Jāzeps Rancāns og Boļeslavs Sloskāns, i landflyktighet.