Su propia esposa, fiel a los intereses españoles, inició intrigas para deponer al marido y tomar el poder, tentativa que acabó abortada en 1805 y que supuso que la conspiradora tuviera que ser exiliada de la corte y empezara a vivir en el palacio de Queluz, mientras que el regente pasó a vivir en el palacio Nacional de Mafra.