Fue en Nápoles donde conoció a la que sería su gran amor, Matilde Ludovica de Baviera, con la que tuvo a su única hija adulterina María Salvadora Bermúdez de Castro y Díez nacida en Roma, en la Villa Farnesina el 20 de enero de 1864.