Herregården tilhørte en periode Boleynslekten. Mellom 1499 og 1505 var eieren Thomas Boleyn, 1. jarl av Wiltshire og hans hustru Elizabeth. Det antas at deres to første barn, Mary og George ble født der. Det ser også ut til at paret fikk flere barn der som ikke levde opp. Dersom det mest kjente av deres barn, Anne, ble født før 1505 slik enkelte hevder ble også hun født på Blickling Hall. Det er dog mer sannsynlig at hun ble født senere, antagelig i 1507, da familien bodde på Hever Castle i Kent. Det er allikevel reist en statue av henne på eiendommen. Innskriften hevder at , «Anne Boleyn ble født her i 1507», noe som uansett ikke er korrekt.