Nel 1983 viene ingaggiato dalla Roma, con cui vince due Coppe Italia nelle edizioni 1983-1984 e 1985-1986 (stagione, quest'ultima, in cui in campionato perde nuovamente lo scudetto al "rush" finale), e raggiunge nel 1984 la finale della Coppa dei Campioni, persa dai giallorossi contro il Liverpool ai tiri di rigore; in questa occasione, proprio Graziani è tra coloro che fallirono il proprio tentativo dal dischetto.