Etter sin fars død ble Marcus oppfostret av sin bestefar på morssiden, Marcus Annius Verus, som i henhold til romersk lov alltid hadde beholdt «patria potestas» over sin sønn og sønnesønn. Teknisk sett var dette ikke en adopsjon ettersom det ville ha vært en juridisk opprettelse av en ny og annerledes «patria potestas» (II). En annen mann, Lucius Catilius Severus, deltok også i hans oppfostring. Severus er beskrevet som Marcus’ «oldefar på morssiden»; han er antagelig stefar til den eldre Lucilla. Marcus vokste opp i sine foreldres hjem på Celiohøyden, et område han kom til å omtale med hengivenhet som «mitt Celio».