天文11年(1542年)には子の義康に家督を譲り黒川口松島に隠居するが、隠居後にも政務に関与している文書が見られる。