El castillo fue destruido con toda seguridad en 1396, durante las luchas en las que se ensalzaron los caballeros de la Orden y el obispado.