Su matrimonio también fue accidentado y su esposa, Carlota Joaquina de Borbón, conspiró contra él en diversas ocasiones en favor de intereses personales o de España, su país natal.