Este edificio aparece vinculado en la historia con los amoríos y desdenes de Pedro I de Castilla, hecho que ha motivado la actual denominación del palacio.