在诺森伯兰郡的家族宅第，对于出席议会的责任，他却以从霍威克堂要花4日才到伦敦为借口，加以推搪。另外，格雷这时的政治态度也变得温和下来，例如在1803年就政府决定重新与法国开战一事上，格雷的批评就要比福克斯的温和得多。在1806年，格雷的父亲获授予「格雷伯爵」衔，他亦因而取得「霍威克子爵」衔。与此同时，他又加入了福克斯辉格党人、格伦维尔派与阿丁顿派合组的「贤能内阁」，在内阁出任第一海军大臣。同年年尾，福克斯逝世，他更接任外务大臣兼下议院领袖之职。任内，他曾主导通过废止奴隶贸易的法案，后来又企图引入法案，容