Etter å ha blitt ordinert som prest, ble han interessert i kontroversene i hjemlandet rundt den spanske teologen Priscillian av Avila, den første personen i kristendommens historie som ble henrettet for religiøst avvik (heresi, som kommer fra greske αιρεσις, hairesis (fra αιρεομαι, haireomai, «valg»). Det kan ha vært i denne forbindelsen at han i år 413 eller 414 konsulterte Augustin av Hippo (nåværende Annaba i Algerie), en teolog som den senere Martin Luther var dypt influert av. Etter å ha oppholdt seg en tid i Afrika som en disippel av Augustin ble han sendt av denne til Palestina med et introduksjonsbrev til Hieronymus.