元和4年（1618年）に土井利勝を通じて高虎に奉公構を解除するように願い出たが、高虎は「奉公したければ（姻戚関係のある）会津の蒲生家か讃岐の生駒家に仕えよ」と命じ、これを彼は承知しなかった。
在元和4年（1618年）通过土井利胜向高虎提出解除奉公构的请求，但是高虎命令“想奉公的话去仕于（有姻戚关系的）会津的蒲生家和赞岐的生驹家吧”（奉公したければ会津の蒲生家か讃岐の生驹家に仕えよ），不过渡边不接受。