La nueva residencia fue promovida por Diego Hurtado de Mendoza y de la Vega (1417-1479), nieto del almirante y primer duque del Infantado.