Palladius ble gift og hadde en ung datter. Han er beskrevet som en venn og en ung slektning av poeten Rutilius, en gallisk-romersk aristokrat. Da Palladius kom inn under innflytelsen av den asketiske munken Pelagius i Roma kysset han sin familie farvel lik apostlene og levde som en asket på Sicilia en gang rundt 408–409. Sin datter skal han ha gitt til et kloster på denne øya. I denne epoken er han blitt tilskrevet forfatterskapet til seks pelagianske dokumenter. Han synes å ha blitt ordinert som prest rundt 415, antagelig etter å ha avsverget Pelagius’ lære. Han levde i Roma mellom 418–429 og synes å være den «diakon Palladius» ansvarlig for å be pave Celestinus I om å sende biskop Germanus av Auxerre til Britannia hvor han ledet «britonene tilbake til den katolske tro».