加入了福克斯辉格党人、格伦维尔派与阿丁顿派合组的「贤能内阁」，在内阁出任第一海军大臣。同年年尾，福克斯逝世，他更接任外务大臣兼下议院领袖之职。任内，他曾主导通过废止奴隶贸易的法案，后来又企图引入法案，容许天主教徒在军队和海军出任最高级别职务，不过这却遭乔治三世大力反对，并着他收回动议，以及要政府保证日后不再採取任何行动帮助天主教徒。由于辉格党员对乔治三世的行动齐声表示反对，结果促使「贤能内阁」在1807年于一片纷乱中垮台。这时格雷亦对政务的兴趣日减，而且还一度失去了自己选区的下院议席，要转到另一选区参选才取