Se sabe muy poco de su vida, que Willoughby había luchado en la batalla de Campo Flodden contra Escocia y que en 1544 el rey Enrique VIII lo había nombrado caballero.