Хью де Бардольф принадлежал к старинному роду, владевшему землями в Восточной Англии. Он был сыном Уильяма де Бардольфа и Джулианы Гурней. В 1289 году Хью унаследовал поместья отца, в 1295 году — матери. Известно, что он был посвящён в рыцари и участвовал в войнах короля Эдуарда I в Шотландии и на континенте. 6 февраля 1299 года Бардольф был вызван в парламент, и это событие считается началом истории баронии Бардольф.