I likhet med den utslåtte pavekandidaten, kardinal Comminges, var Benedikt bestemt på å tilbakeføre pavedømmet til Roma. Han ga derfor ordre fra Avignon om å restaurere Peterskirken og Lateranet. I Roma var mange positive til å ta imot paven, men kardinalkollegiet anså at det var umulig for kirken å leve og virke i et Italia som var herjet og splittet av partistrider. Benedikt besluttet å oppføre pavepalasset i Avignon i 1339.