A finales del siglo XV el Condestable de Castilla decidió que para descansar del trajín de la capital necesitaban algo más que su residencia habitual de la Casa del Cordón.