Al regresar al Nueva Granada en 1797, Tadeo se enamoró de su sobrina, María Tadea Lozano e Isasi, hija de su hermano José María Lozano de Peralta, segundo Marqués de San Jorge.