主君・忠長が寛永9年(1632年)10月、不行跡のため兄・家光により除封、上野国高崎へ流され、家臣も連座として処分を受けることとなった。