Hadrians første fire regjeringsår var vanskelige. Det gikk rykter om at Trajan egentlig hadde utpekt en helt annen etterfølger, og før Hadrian kom tilbake til Roma, var fire tidligere konsuler og nære medarbeidere av Trajan blitt beskyldt for konspirasjon og henrettet. Etter dette fikk han aldri noe godt forhold til senatet. Mange var imot hans defensive fredspolitikk, som gikk ut på å oppgi de mest utsatte, nyerobrete provinsene i Mesopotamia. For å forsone seg med sine motstandere, gav han rike pengegaver og ettergav enorme gjeldsbeløp. Gjeldsbrevene ble brent på bål på Trajans forum (Trajans marked) for å skape trygghet. I alt tilbrakte Hadrian ti år av sin regjeringstid på reiser utenfor Italia. I selve Roma oppholdt han seg sjelden. Det var derfor viktig for ham å vise velvilje overfor byen som så så lite til ham, og han fornyet derfor de viktigste byggverkene på Marsmarken (Campo Marzio), samtidig som han skapte nye og bedre boligkvarterer i Roma og Ostia. Det var snakk om boligblokker i rettvinklete gater. Tre rektangulære er gjenfunnet øst for Via del Corso ved Piazza Colonna. På Marsmarken ruver fremdeles Pantheon, som ble restaurert av Hadrian.