Secretary of State for War and the Colonies
その後ホイッグ党右派を引き離れて分党し、ダービー派を形成したが、1837年夏の総選挙で議席を落とす（"→独立会派時代"）。以降保守党（旧トーリー党）へ接近し、1837年に同党に入党した。1841年の保守党政権ロバート・ピール内閣には陸軍・植民地大臣として入閣。1844年には繰上勅書でビッカースタッフのスタンリー男爵を継承し、貴族院へ移籍した（"→保守党中堅議員時代"）。