父の忠隣は、嫡男の急死に意気消沈して屋敷に引き籠もりがちになり、慶長19年(1614年)には改易されたが、子の忠職は許され騎西城蟄居の処分となった。