氏发出奉公构（不能仕官于其他家的处罚），有江户幕府等人邀请亦无用。在元和4年（1618年）通过土井利胜向高虎提出解除奉公构的请求，但是高虎命令「想奉公的话去仕于（有姻戚关系的）会津的蒲生家和赞岐的生驹家吧」（），不过渡边不接受。在宽永5年（1628年）以天海为仲裁役请求解除奉公构，但是没有接受藤堂家提出的和解条件，更反向高虎申诉不平和不满而使交渉决裂。在高虎死后，因为高虎的儿子藤堂高次亦继续维持奉公构的方针，于是一直都没能仕官，受到对于其才感到可惜的细川忠兴和德川义直等人扶持，自称为「睡庵」。在宽永17