特最后出国前往黎凡特，城堡先是传给他的长子罗伯特，后来又传给幼子休（和祖先同名）。随着居民的增多，旧建筑开始渐渐不敷使用。大约在1140年至1177年间，外城建成。城堡入口从南门改为东门，面朝渐渐发展起来的拉德洛镇。内城的礼拜堂可能是吉尔伯特仿照圣殿骑士团的教堂兴建的。 休曾经参与诺曼入侵爱尔兰，因此长期不在城堡中，亨利二世在他不在的时候接管了城堡，以确保休不会倒戈。1186年，休在爱尔兰去世，城堡传给他的儿子沃尔特，沃尔特当时还没成年，1194年才正式继承城堡。英格兰的约翰叛乱时，沃尔特加入了反对