Die erste Burg in Berkeley war eine Motte, die William FitzOsbern im Jahre 1067, kurz nach der normannischen Eroberung der britischen Insel, errichten ließ. Diese blieb in der Folge drei Generationen lang in der ersten Familie Berkeley, deren Oberhäupter alle "Roger de Berkeley" hießen. Sie bauten sie in der ersten Hälfte des 12. Jahrhunderts wieder auf. Dem letzten Roger de Berkeley wurde 1152 das Eigentum an der Burg aberkannt, weil er im Konflikt der Anarchie seine Gefolgschaft dem Haus Plantagenet vorenthielt. Der Titel eines Baron Berkeley wurde dann Robert Fitzharding, einem reichen Bürger von Bristol und Unterstützer der Plantagenets, verliehen. Er war der Begründer der Familie Berkeley, die heute noch die Burg besitzt.