Уильям был старшим сыном Уильяма Герберта, 1-го графа Пембрука, от брака с Энн Деверё, дочерью лорда-канцлера Ирландии . Отец Уильяма происходил из знатного рода Гербертов, имевшего владения в Уэльсе. Отец Уильяма во время войны Алой и Белой розы держал сторону Йорков. После восхождения на престол Эдуард IV даровал ему титулы барона Герберта, а потом и графа Пембрука, а также сделал своим наместником в Уэльсе. Но в июле 1469 года Уильям-старший с братом потерпел поражение от ланкастерской армии в битве при Эджкот-Мур, попал в плен к графу Уорику и был казнён. Наследовал ему старший сын Уильям. Молодость, отсутствие способностей и талантов отца, а также слабое здоровье привели к тому, что Уильям не занял при короле то положение, которое занимал его отец.