案》一事展开辩论，内阁更对此出现分歧，最后使爱德华·史密斯-斯坦利、詹姆士·葛兰姆爵士、里奇蒙公爵和里彭伯爵集体请辞，对政府构成很大打击。由于政府一直在爱尔兰事务上出现分歧，格雷终在1834年7月8日向威廉四世提出辞呈，并在翌日正式向上院交代。虽然托利党表示无法成功组阁，但格雷去意已决，于是选定以墨尔本勋爵为其接任人。辞职后的格雷勋爵选择退出政坛，并过隐居生活，享受天伦之乐。虽然在1835年的时候，国皇曾有意邀他复出，担任首相或外相之职，不过仍为格雷勋爵所拒。格雷在1845年7月17日卒于诺森伯兰郡的