Han var den tredje av fire barn født av John av Gaunt, hertug av Lancaster, og hans elskerinne Katherine Swynford. Broren Henry Beaufort skulle bli en av den katolske kirkes kardinaler.