Esta situación, en la que el castillo era la sede episcopal, se mantuvo hasta que el obispado se trasladó a Bishop Auckland, y el castillo fue ocupado por el University College de la Universidad de Durham.