尔兰王国和大不列颠王国合併为联合王国。在这个时候，格雷其实已很少参与议会事务，主要花时间在诺森伯兰郡的家族宅第，对于出席议会的责任，他却以从霍威克堂要花4日才到伦敦为借口，加以推搪。另外，格雷这时的政治态度也变得温和下来，例如在1803年就政府决定重新与法国开战一事上，格雷的批评就要比福克斯的温和得多。在1806年，格雷的父亲获授予「格雷伯爵」衔，他亦因而取得「霍威克子爵」衔。与此同时，他又加入了福克斯辉格党人、格伦维尔派与阿丁顿派合组的「贤能内阁」，在内阁出任第一海军大臣。同年年尾，福克斯逝世，他更接