Aunque sus antepasados eran oriundos de "Hadria" (Atri), una localidad ubicada en el Piceno (Italia) a la que siempre consideró su «segunda patria», éstos se habían asentado en Itálica (Hispania Baetica) después de que la fundara Escipión el Africano en Su estirpe estaba emparentada con las familias más nobles de Itálica: Afer era primo paterno de Trajano; su madre, Paulina, era una aristócrata de "Gades" (Cádiz), descendiente de una importante familia senatorial hispanorromana; su hermana Elia Domicia Paulina estaba casada con el tres veces cónsul Lucio Julio Urso Serviano, con el que Adriano mantuvo una duradera rivalidad a pesar de que le tomara en cuenta a la hora de decidir quién había de sucederle; su sobrina era Julia Serviana Paulina, y su sobrino-nieto Cneo Pedanio Fusco Salinator, natural de Barcino.