En tidligere bygning på stedet var Hatfields kongelige palass (). Kun noen deler av den er igjen og ligger ved den nåværende bygningen. Dette palasset var barndomshjemmet til prinsesse, den kommende dronning, Elizabeth I. Palasset ble bygget av biskopen av Ely, kong Henrik VIIs minister og kardinal John Morton, og besto av fire fløyer i et kvadrat som omga en midtre gårdsplass. Palasset ble overtatt av Henrik VIII sammen med andre av kirkens eiendommer.