Malory ble født inn i en respektabel familie fra Warwickshire i England en gang tidlig på 1400-tallet. Faren, John Malory, var landeier med eiendommer også utenfor Warwickshire, nemlig både i Leicestershire, og Northamptonshire. Faren ble to ganger valgt til sheriff på hjemstedet og til parlamentsmedlem ikke mindre enn fem ganger. Han var også dommer i hjemfylket. John Malory giftet seg med Philippa Chetwynd, og de fikk minst tre døtre sammen. Og én sønn, Thomas, som antagelig ble født rundt 1416 – gi eller ta ett år.