En su juventud, John de la Pole se casó dos veces; su primer matrimonio fue anulado, pero su segundo matrimonio, con Elizabeth de York, le hizo cuñado de dos reyes, Eduardo IV y Ricardo III. Tuvieron once niños, del que John, el mayor, sería finalmente nombrado heredero de Ricardo III en 1484 y moriría luchando por la causa yorkista. John de la Pole, no obstante, consiguió mantenerse limpio de implicaciones en los tumultuosos acontecimientos de las Guerras de las Rosas. Pese a estar políticamente alineado con la Casa de York, en virtud de su matrimonio, evitó participar en las batallas de los años 1450, no tomando las armas hasta que Eduardo IV reclamó el trono. De la Pole parece haber gastado mucho de este periodo, de hecho, contendiendo con sus vecinos de Anglia Oriental, la familia Paston sobre una herencia– incluso interfiriendo en elecciones parlamentarias.