战争终告休止，但英国的经济却未有起色，社会更有动盪之虞，结果促使利物浦勋爵在1817年着手废除人身保护令。格雷对废除人身保护令表示反对，但格伦维尔勋爵却表示支持，这使两人关系决裂，以后也再没有合作。在1820年，刚登位为帝的乔治四世着令利物浦勋爵要引入一项草案，以便和妻子卡罗琳皇后离婚，可是格雷对草案却大加反对，最终迫使政府收回草案。乔治四世对此大感恼怒，致使在他有生之年，格雷都不能在政府供职。自1815年至1830年的期间，格雷犹如辉格党的赞助人，多于像领导人。他坚持辉格党政府必须以解放天主教为一贯的