邸改建成如今的城堡，并以他的姓来命名。然而，由于被牵连在一桩阴谋推翻英王亨利四世的行动里而遭到监禁，终被处决，他的领地也随之被没收并归于索墨瑟公爵（）。西元一四二一年蓝丽城堡的拥有权又被拉夫·蓝丽爵士的孙子：汤玛士·蓝丽所取回。到了十九世纪，城堡成为朵伦主教的住所，并由范·米尔德特（）主教将城堡使用权赠送给当时新成立的朵伦大学。
大学时期.十九世纪前期，城堡成为朵伦大学中大学学院的学生宿舍。这些住在里面的学生被称暱称为“城堡人”，他们在成为大学学院的学生的第一年住在蓝丽城堡，而