Det kan ha vært en tidligere festning på samme sted som muligens ble bygget på slutten av 1000- eller begynnelsen av 1100-tallet av Aubrey de Vere. Hedingham var en av de største gods som ble ervervet av Aubrey en gang rundt 1080 og det ble hovedsetet til familien de Vere på slutten av 1100-tallet.