その後は神田氏が在城していたが、1157年(保元2年)に平康盛によって滅ぼされた。