Ulikt kalt for Logaresburgh av angelsakserne, senere Bishoptone eller Biscepstone da eiendommen var eid av en danske kalt Tofig. som etter sigende skal ha vært Harald Godwinsons kongelige fanebærer. Det er antatt at Montacute skal ha blitt navngitt av normanneren Robert, greve av Mortain, etter erobringen av England, og som bygde Castle Montacute, en festning av typen motte-and-bailey, som sitt engelske sete i 1068. Han grunnla også det franske klosteret på stedet. Stedet hvor borgen ble reist var en bevisst fornærmelse av de beseirede engelskmenn ettersom et kors av svart flintstein («Holy Rood») etter sigende ble oppdaget på toppen av stedet tidligere på 1000-tallet av landsbyens smed. Dette ble etter sigende plassert i vogn av Tofig, og han navnga en rekke av mulige destinasjoner som var eid av ham. Oksene som trakk vognen (seks røde og seks hvite i en versjon av fortelling) nektet å flytte på seg før han hadde sagt «Waltham». De begynte da å trekke og fortsatt helt til de nådde Waltham. Da de stoppet besluttet Tofig å bygge et kloster ved dette stedet – og dette ble Waltham Abbey. Denne relikvien ble et objekt for dyrkelse, pilegrimsmål og feiring. «Holy Cross» var også krigsropet til kong Haralds hær ved slagene i Stamford bru og ved Hastings i 1066. Korset av flint, «Holy Rood», skal etter sigende ha spådd Haralds nederlag ved Hastings: på vegen derfra til Stamford bru stoppet Harald Godwinson opp ved Waltham Abbey for å be, og legenden sier at korset «bøyde seg ned» fra veggen da han så gjorde. Dette ble tatt som et tegn på nederlag.