不过渡边不接受。在宽永5年（1628年）以天海为仲裁役请求解除奉公构，但是没有接受藤堂家提出的和解条件，更反向高虎申诉不平和不满而使交渉决裂。在高虎死后，因为高虎的儿子藤堂高次亦继续维持奉公构的方针，于是一直都没能仕官，受到对于其才感到可惜的细川忠兴和德川义直等人扶持，自称为「睡庵」。在宽永17年（1640年）于京都死去。