Эдмунд Дадли родился, по разным данным, приблизительно в 1462 или 1471/1472 годах. Он принадлежал к семейству Дадли, чья родословная восходит к одному из участников нормандского завоевания Англии с бретонскими корнями. По отцу Эдмунд приходился внуком участнику Столетней войны и Войны Роз Джону Саттону, 1-му барону Дадли. В 1585 году Джон Дадли стал шерифом Сассекса.