Bygningen var opprinnelig et gårdshus fra det 13. århundre. I 1462 ble det bygget om til en befestet herregård av Geoffrey Boleyn, som var . Restene av tømmerbygningen er fortsatt synlig innenfor steinveggene.