Saint John's College
第3代準男爵サー・ジョン・ミルとマーガレット・グレイ（、1692年10月以前没、トマス・グレイの娘）の息子として生まれた。1706年に兄ジョンが死去すると、準男爵位を継承した。1708年3月12日、オックスフォード大学セント・ジョンズ・カレッジに入学した。