水野氏
しかし、関ヶ原の戦いで西軍につき、江戸幕府から一乗山城退去を命じられ、その後は没落していくこととなった。以後、新たに入封してきた福山藩主の水野氏に仕えた。なお、水野氏の時代は側室を出すなどそれなりの家格を保っていたが、天領時代・阿部氏時代になるとそのようなこともなくなった。