酒井忠能
この時の忠能の移封を小諸の民衆は喜び、「地獄極楽さかい(酒井)にて、日向(日向守忠能)出てゆくおき(隠岐守=交代で入封した西尾忠成)は極楽」という落首が読まれた。
延宝8年(1680年)に家綱が死去すると徳川綱吉が第5代将軍に就任し、大老職を務めていた兄の忠清は解任され、翌天和元年(1681年)に死去する。同年12月10日に忠能も在国中の逼塞と勤務怠慢を理由に改易された。改易の真相は不明であるが、忠清を疎んでいたといわれる綱吉が連座として改易処分に処したとも、不審死であったともいわれる忠清の遺体を検死させなかったことを恨んでの意趣返しとも言われている。忠能の身柄は近江彦根藩主・井伊直興預かりとなるが、元禄3年(1690年)4月19日に許されて2,000俵を給され、同年8月には5,000石の旗本寄合として存続を許されている。
宝永元年(1704年)6月27日、養子の忠佳(忠能のはとこにあたる酒井忠英の次男)に家督を譲って隠居し、宝永2年(1705年)5月22日に死去、享年78。