然托利党表示无法成功组阁，但格雷去意已决，于是选定以墨尔本勋爵为其接任人。辞职后的格雷勋爵选择退出政坛，并过隐居生活，享受天伦之乐。虽然在1835年的时候，国皇曾有意邀他复出，担任首相或外相之职，不过仍为格雷勋爵所拒。格雷在1845年7月17日卒于诺森伯兰郡的家族宅第霍威克堂，终年81岁。他的墓葬现位于的圣米迦勒暨诸天使堂，是该堂最重要的纪念物。
家庭.格雷在1794年与庞森比勋爵之女儿玛丽·伊莉莎伯·庞森比阁下结婚。两人育有16名孩子，当中包括：格雷曾经因为与德文郡公爵夫人