Pius' familie kom opprinnelig fra Nemausus i Gallia, men hadde lenge fått viktige roller i Roma. Hans farfar hadde vært konsul to ganger og hans far, Titus Aurelius Fulvus, én gang (år 89). Han vokste opp i Lorium, et slektsgods i sørlige Etruria, som han ble svært knyttet til. Hans far døde da han var ung, så Pius ble oppfostret først av sin farfar og sin morfar. Da de døde gjorde arven ham til en av Romas rikeste menn.