トマス・ド・グレイ (第2代ド・グレイ伯爵)
自由主義的なアイルランド担当大臣(英語版)のエリオット卿エドワード・エリオット(英語版)とも口論し、1842年12月には首相ロバート・ピールが手紙で「現行の制度ではアイルランドを十分に統治できない決定的な証明」(decisive proof that the government of Ireland cannot be satisfactorily administered under the present constitution)がすぐにでも現れるだろうとの恐れを綴った。ピールは1844年2月にもド・グレイ伯爵夫人に手紙を書き、ド・グレイ伯爵をなだめさせようとしたが、これも失敗に終わっている。そして、ド・グレイは健康上の理由により1844年にアイルランド総督を辞任、以降政治への関わりが少なくなった。
1846年、穀物法廃止に賛成票を投じた。
1859年11月14日にセント・ジェームズ・スクエア(英語版)4号で死去した。息子に先立たれたため、ルーカス男爵位は長女アン・フローレンスが継承した。それ以外の爵位は男子しか継承できず、弟フレデリック・ジョン・ロビンソンの息子ジョージ・ロビンソンが継承した。