弗莱是亨利四世和他的首任妻子玛丽·德博亨（Mary de Bohun）的第五个儿子，名字源于他的外祖父赫里福德伯爵汉弗莱·德博亨。1414年，被授予格洛斯特公爵爵位。1422年，亨利五世去世后他成为他年轻的侄子亨利六世国王的摄政。他的妻子是埃诺伯爵威廉四世之女，从她那汉弗莱又继承了霍兰、泽兰和埃诺伯爵的爵位，但这次婚姻在1428年被宣布无效。1436年杰奎琳去世后，他又继娶情妇埃利诺·科布汉为妻。1441年，埃莉诺被指控为了维护丈夫的权位而对国王使用巫术，遭到流放并被终身监禁。汉弗莱可能有一个叫格洛