しかし忠房の後を継いだ隆長は藩の体制確立に躍起になったためか失政が多く、幕府より咎を受け寛文8年(1668年)に改易となった。