就私自接受的纲元引起政宗强烈不满，在文禄4年（1595年）因为政宗的命令而把家督让了良纲并被迫隐居。此时纲元得到的隐居费不过1百石，而得到隐居费以外的收入的条件是没收良纲继任的茂庭氏本领5千石，于是愤慨的纲元就从伊达家出奔。此时经本多正信介绍而受到德川家康的引诱，但是因为政宗的奉公构而作罢。同情纲元处境的家康把中白鸟毛枪、虎皮鞍覆、紫缩缅手纲送给纲元，并即场以关八州的传马10疋的朱印状和永乐銭200贯文作为资金送给纲元。终于在庆长2年（1597年）被赦免并回到伊达家。
江户时