家康が大御所となって駿府に移ると本多正純・安藤直次・成瀬正成とともに側近となり、慶長12年(1607年)には成瀬と共に義直の後見に任じられる。