A principios del siglo XV, la propiedad pasa a pertenecer a los Duques de Arcos, dejando de ser palacio real para convertirse en un pequeño asentamiento rural.