John Fitzgerald
（1693年没）とキャサリン・フィッツジェラルド（、1662年 – 1725年12月26日、ジョン・フィッツジェラルドの娘）の息子として生まれた。1699年12月16日に祖父にあたる第4代グランディソン子爵ジョージ・ヴィリアーズが死去すると、グランディソン子爵の爵位を継承した。イートン・カレッジで教育を受けた後、1700年4月19日にケンブリッジ大学モードリン・カレッジに入学した。