Han ble presteviet i 1831, og dro i 1832 til New South Wales som generalvikar for biskop William Placid Morris (1794–1872), hvis jurisdiksjon var over de australske misjonene. Det var i det vesentligste Ullathorne som fikk pave Gregor XVI til å etablere hierarkiet i Australia.