始入侵南威尔斯，从他们新近占领的英格兰他们不断把基地向西推进。他们往往在古罗马遗址上建造城堡和创立新的地区封建贵族。通过重新使用罗马遗址他们可以大量节省建筑大规模堡垒的人力。加的夫城堡就是在这段时间里建造的。城堡具体建造的时间有两个可能：威廉一世在圣戴维斯朝圣返回的路上可能在1081年就在加的夫建造了一座城堡。另一种可能性是格洛斯特主宰罗伯特·费茨哈蒙在1091年建造了第一座诺曼堡垒。1090年费茨哈蒙入侵这个地区，在此后数年里使用加的夫城堡作为基地来征服格拉摩根南部的其它地区。这个地点离海近，可以很容