Thomas var sønn av Thomas Howard, 2. hertug av Norfolk og Elizabeth Tilney, enke etter Humphrey Bourchier. Inntil 1524 ble han tiltalt som jarl av Surrey til han ble hertug av Norfolk. Han giftet seg først med Anne av York, datter av kong Edvard IV av England og Elizabeth Woodville. Han fikk fire barn med henne, hvor den førstefødte, Thomas Howard (1496 – 1508) ble kun tolv år gammel, og de tre andre døde også som småbarn.