1449年10月21日，乔治生于都柏林，当时他的父亲约克公爵已经开始挑战亨利六世的王位。乔治的教父为第六代德斯蒙伯爵詹姆斯·菲茨杰拉德。在长大成人的四兄弟中，他排第三。父亲于1460年阵亡。1461年兄长爱德华成为爱德华四世国王后，于同年封弟弟乔治为克拉伦斯公爵并授以嘉德勋章。乔治于1462年获得里奇蒙伯国的终身荣誉领主权，但没有里奇蒙伯爵称号。尽管他年轻，还是在同年被任命为爱尔兰总督。曾被作为大胆查理之女玛丽可能的丈夫被提及的克拉伦斯在表兄第十六代沃里克伯爵理查·内维尔的影响下，于1469年7月在加莱