Hans bestefar var ridder av Hosebåndsordenen og forstander for Henrik V. Moren Elizabeth Grey var baronesse Lisle, og var tipp-oldebarn av Richard de Beauchamp, 13. jarl av Warwick. Faren Edmund Dudley var minister under Edmund. John var den eldste av sønnene; de andre brødrene het Jerome, Oliver, William og Andrew.