利二世在他不在的时候接管了城堡，以确保休不会倒戈。1186年，休在爱尔兰去世，城堡传给他的儿子沃尔特，沃尔特当时还没成年，1194年才正式继承城堡。英格兰的约翰叛乱时，沃尔特加入了反对约翰的行列，但理查一世反而没收了他包括城堡在内的财产。沃尔特想要以一千马克买回城堡，但遭到拒绝，1198年才以3,100马克买回城堡。
13世纪.沃尔特在1201年前往爱尔兰，拉德洛城堡再次被没收，由他的岳父威廉·德·布劳西（William de Braose）代管。1208年，约翰王攻占了城堡，12