Muchos fueron los cambios de manos de este, recayendo en los reyes de Castilla o sus familiares, hasta la conversión en 1430 del señorío en el condado de Haro, entregado a Pedro Fernández II de Velasco.