A fines de 1823 fue abandonado y acusado de infidelidad por su esposa Dolores Arrascaeta, lo que tomó estado público, incluyendo la intervención del Gobernador y el Obispo.