しかし元知はその妻(岡崎藩主水野忠善の娘)への傷害事件を起したため、寛文7年(1667年)5月28日に領地を没収されて信濃松本藩預かりの身となった。