Før hertugtittelen ble opprettet fants det en jarl av Norfolk. Den første var Roger Bigod, som døde i 1107. Linjen døde ut i 1307 med Roger Bigod, 5. jarl av Norfolk. Titlene og eiendommene ble underlagt kronen. Edvard II utnevnte så i 1312 sin bror Thomas av Brotherton til jarl. Tittelen gikk videre til hans datter Margaret, og så til hennes barnebarn Thomas de Mowbray.