Paven kom ikke tilbake til Roma før 16. mai 1804, og lettet tilkjennegav han for sine kardinaler der altfor optimistiske utsikter til forholdet med Napoleons Frankrike. Keiserens manglende respekt for konkordatet ble imidlertid bare klarere og klarere. Den måten han tilsidesatte kirkens myndighet da han på samme tid tvang gjennom en sivil annullering av ekteskapet hans bror Jérôme hadde inngått med Elizabeth Patterson i Baltimore, var et nytt, tydelig tegn på dette.