Die ersten Aufzeichnungen über ein Haus an dieser Stelle finden sich im Domesday Book von 1086. Dort steht, dass es einem Sir "Mauger the Vavasour" („Vavasour“ ist eine Art Unterpächter) gehörte und er dort wohnte. Hazlewood verblieb dann über 900 Jahre lang in den Händen von Nachkommen der Familie "Vavasour". Im zweiten Krieg der Barone (1264–1267) wurde das Haus von einem feindlichen Zweig der Familie niedergebrannt. 1283 ließ es Sir "William Vavasour" wieder aufbauen und 1290 wurde es befestigt.