却成为了坎宁的政敌，首相卡苏里子爵的追随者。卡苏里子爵在1809年5月任命他为陆军部常务次官。同年10月，卡苏里辞去首相一职，而不愿在新政府中任职的罗宾逊，也一同辞去政府职务。1810年6月，他加入海军委员会，担任委员会成员。1812年，罗宾逊获任为枢密院顾问官。 1814年，罗宾逊娶第四代白金汉郡伯爵之女莎拉·荷巴特女爵为妻。他的妻子，与卡苏里子爵，有姻亲关系。两人育有三名子女，只有一名较为年长。罗宾逊在利物浦伯爵政府中，曾经出任副贸易委员会主席，与军队主计长两个职位。他协助政府引入谷物法。这个法