徒劳无功的，于是很多福克斯辉格党人都选择淡出议会，而格雷本人在动议失败以后，更有2年的时间未曾在下议院发言，直到后来议会讨论是否与爱尔兰合併时，格雷才再次发言。格雷本人主张反对通过《联合法案》，认为英国应先对爱尔兰採取更自由和友善的政策，以及放弃对天主教採歧视的态度。不过，《联合法案》最终仍在1800年通过，并在1801年1月1日正式将爱尔兰王国和大不列颠王国合併为联合王国。在这个时候，格雷其实已很少参与议会事务，主要花时间在诺森伯兰郡的家族宅第，对于出席议会的责任，他却以从霍威克堂要花4日才到伦敦为借