Замок был основан в конце 1060-х годов Гуго де Гранмеснилем — одним из соратников короля Англии Вильгельма Завоевателя. В первые годы после нормандского завоевания 1066 года положение нормандцев в Англии было неустойчивым. Чтобы обеспечить контроль над территорией королевства, Вильгельм Завоеватель приказывал в стратегически важных точках королевства строить замки, которые сыграли ключевую роль в удержании завоёванной территории. Одним из таких замков стал Лестер, построенный на возвышении в юго-западном углу города Лестер с видом на реку Сор. Первый замок был классическим нормандским мотт и бейли, состоявшим из оборонительного вала овальной формы и рва, поверх земляного вала располагался частокол. Внутри располагались колодец, многочисленные деревянные сооружения (включая главный зал), древняя англосаксонская церковь Святой Марии де Кастро, оружейный склад, конюшня и кухня. К юго-западу от построек располагался холм, который венчала деревянная башня. В настоящее время никаких следов деревянных сооружений не сохранилось, кроме мостика высотой в 9 метров и шириной у основания 30,5 метров, на котором стояла деревянная цитадель.