德·迪南（Joce de Dinan），并许诺将来把拉德洛城堡也赐给他，换取了对方的支持。在多次交锋后，城堡1139年又被斯蒂芬夺回，顺便救下了被抓的苏格兰的亨利。吉尔伯特仍不死心，他和迪南又打了一仗，最后在1153年再次夺下城堡。吉尔伯特最后出国前往黎凡特，城堡先是传给他的长子罗伯特，后来又传给幼子休（和祖先同名）。随着居民的增多，旧建筑开始渐渐不敷使用。大约在1140年至1177年间，外城建成。城堡入口从南门改为东门，面朝渐渐发展起来的拉德洛镇。内城的礼拜堂可能是吉尔伯特仿照圣殿骑士团的教堂兴建的。