カトリック陰謀事件
カトリック陰謀事件により生じた反カトリック感情を避けてか、1679年春にイングランドから離れた。翌1680年に父が大逆罪で処刑されたが、全ての爵位を剥奪されたため、ヘンリーはスタッフォード子爵とスタッフォード男爵の爵位を継承できず、父の財産も没収され継承できなかった（ただし、財産については1681年11月にチャールズ2世からヘンリーの母に返還されている）。後に母が1694年1月23日に死去したときも父の爵位剥奪によりスタッフォード男爵の爵位を継承できなかった。