Secretary of State for War and the Colonies
その後、ホイッグ党へ移籍し、1828年4月に審査法廃止法案の第二読会で法案に賛成する演説をして、1829年4月にカトリック解放法案の第二読会で賛成を表明した。1830年2月にはウェリントン公爵内閣に対する敵意があったとしても、「カトリック問題の墓にそれを埋めた」と述べた。同年に成立したグレイ伯爵を首相とするホイッグ党政権には陸軍・植民地大臣として入閣（1830年11月22日）、1831年10月に第一次選挙法改正の第二次改革法案への支持を表明した。その後は黒人奴隷制度の全廃を目指したが、閣内で反対を受けたため陸軍・植民地大臣を辞任、王璽尚書に転じた。王璽尚書になった1833年4月にリポン伯爵に叙された。