Secretary of State for War and the Colonies
1807年の総選挙以降も引き続き政権に批判的であり、1809年1月にはパーシヴァルが再びロビンソンの演説を称賛、5月には陸軍・植民地大臣カースルレー子爵によりに任命されたが、9月にカースルレー子爵とともに辞任した。以降もカースルレー子爵に同調することが多く、1810年2月にはホイッグ党がロビンソンをカースルレー子爵の派閥に分類した。