La struttura originale del castello è del 1067 quando fu costruito come un motta castrale da William FitzOsbern, I conte di Hereford poco dopo che Guglielmo I d'Inghilterra aveva preso il paese. Il castello passò quindi nelle mani della famiglia Berkeley e per tre generazioni un diverso Roger Berkeley ne fu il proprietario ed entro la prima metà del XII secolo il castello venne interamente ricostruito. L'ultimo Roger Berkeley perse il castello nel 1152, questi durante il periodo dell'anarchia aveva voltato le spalle alla nascente casa dei Plantageneti e il castello andò al fedele Robert Fitzharding un ricco esponente della città di Bristol. Da uno dei suoi figli, che sposò una delle figlie dell'espropriato Roger, discendono i Berkeley che detengono il castello ancora oggi.