George ble født i 1449 i Dublin, på den tiden hvor hans far, hertugen av York, hadde begynt å bruke navnet Plantagenet for å vise at han stammet fra Henrik II da han utfordret Henrik VI av England for kronen. Hans gudfar var James FitzGerald, 6. jarl av Desmond. Han var den tredje av de fire sønnene til Richard og Cecily som overlevde barndommen. Hans far døde i 1460. I 1461 ble hans eldre bror Edvard konge av England som Edvard IV. I det samme året ble George opphøyd til hertug av Clarence og gitt hosebåndsordenen. I 1462 ble han gitt Honour av Richmond (et baroni), og til tross for hans unge alder ble han utnevnt til Irlands stattholder det samme året.