·德·拉西继续建造城堡。城堡的防御工事大约在1080年代修好，整体于1115年前完工，这就是现在的拉德洛城堡内城。城堡有五座高塔，两侧挖有壕沟，挖掘出来的石头后来又用在了城堡的建筑中。它由此成为英格兰最早的一座庄园式城堡。1096年，罗杰因叛乱而被威廉二世褫夺封地，城堡转赐给他的兄弟休（Hugh）。
12世纪.休在1115年去世，无子，亨利一世把城堡和周围大部分地产赐给了休的侄女西比尔（Sybil），西比尔嫁给了亨利一世的侍臣潘·菲茨约翰（Pain fitzJohn）。菲茨约翰