Som tolvåring ble han tatt fra skolen og plassert på farens kontor for å lære regnskapsadministrasjon. Meningen var å sende ham til skole igjen etterpå, men Ullathorne ville gå til sjøs, og som 15-åring foretok han med foreldrenes tillatelse den første av flere ferder til Østersjøen og Middelhavet. Mens han deltok på messen i Memel, opplevde han noe som var det en omvendelse, og da han kom tilbake spurte han styrmannen om han hadde noen religiøse bøker. Ullathorne fikk en oversettelse av abbé Jacques Marsolliers , noe som forsterket hans religiøse hengivenhet. På slutten av denne reisen vendte han hjem. I februar 1823, 16 år gammel, ble han sendt til Downside School, nær Bath, hvor han ble veiledet av John Bede Polding, etterpå den første erkebiskopen av Sydney, som påvirket ham sterkt.