寛文4年(1664年)に嫡男の正直に家督を譲って隠居した。