До нормандского завоевания в Портчестере было три поместья. Нет точных упоминаний о форте или замках, но одно из этих поместий, должно быть, было сосредоточено на римском форте. Донжон, вероятно, был построен в конце XI века как баронский замок. После Нормандского завоевания Англии поместье было подарено одному из соратников Вильгельма Завоевателя — Уильяму Модуиту — наряду с другими землями в Портсмуте. Модуит, к моменту свей смерти в 1100 году, успел заложить внутренний замок или внутренний двор к северо-западному углу. После кончины Уильяма Модуита его земли перешли к сыну Роберту. Но тот скоропостижно погиб в 1120 году в результате кораблекрушения. Дочь и единственная наследница Роберта вышла замуж за Уильяма Рон де Л’арша, сумевшего занять должность шерифа Гэмпшира во время правления Генриха I.