Hacia 1480 el segundo duque del Infantado, Íñigo López de Mendoza y Luna, derribó las antiguas casas de la familia y decidió construir un nuevo palacio «por acrecentar la gloria de sus progenitores y la suya».