Margarita y su hijo permanecieron en Pembroke hasta el triunfo de la casa de York en 1461; entonces el ducado de Pembroke y su tutela pasaron a manos de William Herbert A partir de los dos años, Enrique vivió con la familia de su padre en Gales, y a los catorce años se exilió en Francia.