Уильям Кэри был вторым сыном сэра Томаса Кэри и его жены леди Маргарет Спенсер. Томас Кэри, бывший членом парламента от Уоллингфорда в 1491-92 годах, умер приблизительно в то время, когда родился его сын. Его вдова, Маргарет Спенсер, была дочерью и сонаследницей сэра Роберта Спенсера из Эшбери. По линии матери Уильям состоял в отдалённом родстве с королём Генрихом VIII. Со стороны отца его дедом был сэр Уильям Кэри из Кокингема. Во времена Войны Роз сэр Уильям был сторонником Ланкастеров и в 1471 году после победы Йорков в битве при Тьюксбери он был обезглавлен по приказу Эдуарда IV.