その後、家禄800貫を依田氏に託し、弟新六らと共に駿河国庵原郡の山中に遁世した。