Randolph Churchill afirmaba que Jorge fue un padre estricto, hasta el punto en que aterrorizaba a sus hijos y porque, supuestamente, el mismo Jorge le comentó a Edward Stanley, décimo séptimo conde de Derby: «Mi padre tuvo miedo de su madre, yo tenía miedo de mi padre y me encargaré de que mis hijos me teman a mí».