慶長8年(1603年)に隠居したが、直後に発生した渋江政光暗殺未遂事件(川井事件)に際し、昭為も関与を疑われた。