Lord Privy Seal
1833年，罗宾逊获封为里彭伯爵。他本想获颁嘉德勋章，却没有如愿。同年，他辞去殖民地大臣一职，改为担任掌璽大臣。1834年，罗宾逊认为，辉格党威胁到爱尔兰国教会的地位，退出辉格党。