内战，作为皇后的支持者，吉尔伯特·德·拉西佔领了城堡。斯蒂芬将西比尔嫁给威尔士边境的地主、骑士乔希·德·迪南（Joce de Dinan），并许诺将来把拉德洛城堡也赐给他，换取了对方的支持。在多次交锋后，城堡1139年又被斯蒂芬夺回，顺便救下了被抓的苏格兰的亨利。吉尔伯特仍不死心，他和迪南又打了一仗，最后在1153年再次夺下城堡。吉尔伯特最后出国前往黎凡特，城堡先是传给他的长子罗伯特，后来又传给幼子休（和祖先同名）。随着居民的增多，旧建筑开始渐渐不敷使用。大约在1140年至1177年间，外城建成。城堡入