礼拜堂可能是吉尔伯特仿照圣殿骑士团的教堂兴建的。 休曾经参与诺曼入侵爱尔兰，因此长期不在城堡中，亨利二世在他不在的时候接管了城堡，以确保休不会倒戈。1186年，休在爱尔兰去世，城堡传给他的儿子沃尔特，沃尔特当时还没成年，1194年才正式继承城堡。英格兰的约翰叛乱时，沃尔特加入了反对约翰的行列，但理查一世反而没收了他包括城堡在内的财产。沃尔特想要以一千马克买回城堡，但遭到拒绝，1198年才以3,100马克买回城堡。
13世纪.沃尔特在1201年前往爱尔兰，拉德洛城堡再次被没收，由