En 1805 se casó su hijo Javier con Gumersinda de Goicoechea; al parecer, en el transcurso del enlace conoció a Leocadia Zorrilla —a veces llamada Leocadia Weiss por su apellido de casada—, pariente de la novia, que más tarde sería su ama de llaves; se ha especulado que también pudo ser su amante, aunque no hay pruebas de ello.