このように民政において多大な功績を残し一定の開発業務の完了後、家康の下において信頼を得たが、慶長11年（1606年）に罷免を受け、子・元綱、弟・宗有らと共に改易、退役させられた。
在处理民政上有许多功绩，在完成一定开发后，得到家康的信赖，不过在庆长11年（1606年）被罢免，与儿子元网、弟弟宗有等人一同被改易、退役。