取回议席。同年年尾，父亲逝世，格雷遂袭取为「格雷伯爵」，晋身上议院。由于他在「贤能内阁」有过不快经历，这促使他对出仕政府感到厌倦，结果在此后的23年间，他都只是在上院担当反对党议员的角色。
上院生涯.1809年10月，斯宾塞·珀西瓦尔上任首相，在组阁的时候曾向格雷招手。但格雷却认为内阁中只有很少职位留予辉格党人，又认为乔治三世仍然健在，没有可能推动天主教解放而加以拒绝。1811年，乔治三世精神失常，威尔斯亲王正式开展摄政，并着手就筹组新政府进行谈判；到1812年5月，斯宾塞·珀