Sería ya en 1468 Diego López de Zúñiga, nieto, primer conde de Miranda de Duero, quien ordenó construir un nuevo castillo palaciego en Galve para residencia personal.