助天主教徒。由于辉格党员对乔治三世的行动齐声表示反对，结果促使「贤能内阁」在1807年于一片纷乱中垮台。这时格雷亦对政务的兴趣日减，而且还一度失去了自己选区的下院议席，要转到另一选区参选才取回议席。同年年尾，父亲逝世，格雷遂袭取为「格雷伯爵」，晋身上议院。由于他在「贤能内阁」有过不快经历，这促使他对出仕政府感到厌倦，结果在此后的23年间，他都只是在上院担当反对党议员的角色。
上院生涯.1809年10月，斯宾塞·珀西瓦尔上任首相，在组阁的时候曾向格雷招手。但格雷却认为内阁中只有很