Fra tida hans bror blei konge til fødselen av kongens første barn, Georg, den 12. august 1762, var hertugen først i arvefølgen til den britiske tronen.