Fue hijo de sir Richard Pole (sobrino de Margarita Beaufort, madre del rey Enrique VII de Inglaterra) y Margaret Pole, condesa de Salisbury.