La desaparición total del castillo se produce a finales del siglo XIX, cuando sus piedras se utilizan para la construcción del tren de vía estrecha Bilbao-La Robla.