Генри Клиффорд принадлежал к знатному роду, известному с XI века и владевшему обширными землями на севере Англии — в Камберленде, Йоркшире, Уэстморленде, Дареме. Клиффорды, носившие с 1299 года баронский титул, были одним из самых могущественных семейств в этом регионе, а применительно к XV веку их называют в историографии одним из самых влиятельных родов во всей Англии. Генри, старший из трёх сыновей Джона, 9-го барона де Клиффорд, и Маргарет Бромфлет, родился в замке Скиптон в Йоркшире, принадлежавшем многим поколениям его предков, примерно в 1454 году. Уже через год вражда между двумя ветвями английского королевского дома, Ланкастерами и Йорками, переросла в полноценную войну, известную как "Войны Алой и Белой розы". Отец и дед мальчика встали в этой войне на сторону короля Генриха VI, принадлежавшего к династии Ланкастеров. В первом же сражении (при Сент-Олбансе, 22 мая 1455 года) погиб Томас Клиффорд, дед Генри. 28 марта 1461 года при Феррибридже погиб и Джон, отец Генри, один из самых ожесточённых врагов Йорков. Захвативший власть в Англии Эдуард IV из Йоркской династии 4 ноября того же года добился от парламента конфискации баронского титула и всех земель Клиффордов. Большая часть семейных владений была пожалована Ричарду Невиллу, графу Уорику; брат короля Ричард Глостерский получил баронию Уэстморленд, а сэр Уильям Стэнли — баронию Скиптон.