La historia de esta familia se remonta más atrás, concretamente al año 1374 cuando, finalizada la Guerra Civil Castellana, el nuevo monarca Enrique II arrebata la tenencia de La Guardia a Lope Díaz de Baena ("Lope Díaz (o Ruíz) de Baeza y Haro, descendiente de la casa Ruíz de Baeza y Haro") por su apoyo a Pedro I «El Cruel».