Han gav derfor etter for overtalelser fra de franske kardinalene og begav seg 1370 halvt flyktende atter til Avignon, til tross for bønner fra kirkens velgjørere og andre fromme personer, blant dem den hellige Birgitta, som advarte paven at om han dro tilbake til Avignon skulle han snart dø. I en bulle erklærte Urban at grunnen til å forlate Roma var for å kunne virke for hele kirken.