カトリック陰謀事件
以後は野党化して貴族院でシャフツベリ伯と共に旧王党派とジェントリを主体としたグループで反対派を形成（後のホイッグ党）、ロンドンの中下層市民を主体とした急進派のパトロンにもなり宗教的寛容を支持、そうした反抗が災いして1677年に再度ロンドン塔へ投獄される羽目になった。1681年に宮廷へ再出仕した一方で、国王の反撃に備えてシャフツベリ伯と共にロンドンのギルドへ加入して市民権取得、カトリック陰謀事件を生んだタイタス・オーツを利用するなどダンビー伯トマス・オズボーンが率いる政権に対する反政府活動も継続したが、やがて過激化していくシャフツベリ伯から離れ、1682年に数々の乱行で健康を損ねたことから引退を決意、1685年にヨークシャーへ引退、1687年に59歳で亡くなった。子供は無くバッキンガム公は断絶、ヴィリアーズ家は父の兄の家系がジャージー伯爵及びその分家クラレンドン伯爵として存続している。