En el siglo XVI perteneció a Juan y a Bernardino Fernández de Velasco, V y VI Duques de Frías y señores de Herrera.