Familien kom opprinnelig fra Picenum, men dro senere til Spania. Hadrians selvbiografi er gått tapt, men det refereres andre steder at hans foreldre stammet fra byen Adria som har gitt opphav til navnene Adrian, Hadrian og Adriaterhavet. Faren, Aelius Hadrianus, fikk tilnavnet Afer og var en fetter av keiser Trajan. Moren, Domitia Paulina, kom fra Cádiz. Hans foreldre døde da han var ti år gammel, og han ble tatt vare på av sin grandonkel Trajan som ble Romerrikets keiser i 98. Hadrian var så opptatt av sine gresk-studier at han fikk tilnavnet (= grekervalpen). Som fjortenåring gikk han inn i hæren, men fikk problemer fordi han var så opptatt av å gå på jakt. Trajan hentet da grandnevøen og innsatte ham i det timannskollegiet som dømte i tvistemålssaker.