Sus últimos dueños, los condes de Oñate, se desentendieron del edificio en 1576 porque se encontraba muy destruido.