Chávez de la Rosa, no queriendo transigir con abusos y fastidiado de luchar sin fruto con su Cabildo y hasta con las monjas, renunció en 1804 el obispado, llevó entre los familiares que lo acompañaron a España al cleriguito del "Dominus vobiscum", como cariñosamente llamaba a su protegido.