为其接任人。辞职后的格雷勋爵选择退出政坛，并过隐居生活，享受天伦之乐。虽然在1835年的时候，国皇曾有意邀他复出，担任首相或外相之职，不过仍为格雷勋爵所拒。格雷在1845年7月17日卒于诺森伯兰郡的家族宅第霍威克堂，终年81岁。他的墓葬现位于的圣米迦勒暨诸天使堂，是该堂最重要的纪念物。
家庭.格雷在1794年与庞森比勋爵之女儿玛丽·伊莉莎伯·庞森比阁下结婚。两人育有16名孩子，当中包括：格雷曾经因为与德文郡公爵夫人传出绯闻而一度使他名声受损。两人有一位私生女。