Incluso en una ocasión, al regresar de la expedición a Egipto, ya al tanto de estos amoríos, llegó a expulsar a Josefina de su casa cuando se hartó de soportar dichas infidelidades, sin embargo, más pudo el amor que sentía por ella y la perdonó, continuando su vida en común.