I 1912 ble han sorenskriver i Eiker, Modum og Sigdal, men inntrådte alt i januar 1913 som statsråd i Gunnar Knudsens andre regjering. Her var han i perioden 1913–1916 arbeidsminister og i perioden 1916–1917 justisminister. Som justisminister la han frem et lovforslag om innskrenkninger i trykkefriheten («Lex Urbye»), men gikk av da forslaget ble nedstemt i odelstinget. Det ble vedtatt mistillitsforslag mot Urbye. I 1918 ble han norsk sendemann ved legasjonen i Helsingfors, og i perioden 1924–1939 var han sendemann i Moskva. I tiårsperioden 1939–1949 var han medlem av Den faste voldgiftsdomstolen i Haag.