Первый замок в Глостере в виде классического мотт и бейли был построен вскоре после нормандского завоевания Англии 1066 года. Чтобы его построить, пришлось снести 16 домов. Строительство осуществлял Роже де Питр, он же стал первым кастеляном замка. Судя по археологическим данным, он располагался в юго-западном углу старого римского города. Во время правления Вильгельма II Рыжего (1087—1100) территория замка была увеличена, для чего было снесено ещё 8 домов.