为在藩内显示出专横的行为，家臣向德川家康申诉，不过因为兄长正则的旧功，家康没有追究。庆长20年（1615年）6月25日，在大坂夏之阵中，被怀疑与丰臣氏内通（一说是秘密向大坂城运入兵粮），于是遭到改易（一说理由是，没有取得骏府町奉行彦坂光正的许可，在骏府城的大手门附近捕捉向家康申诉的家臣而引起骚动）。在被改易后，自号道牛，并在伊势国山田蛰居，生活极其贫困。在宽永10年（1633年）9月25日死去。
子孙.嫡子正晴（高经）的儿子忠政被赐予5百石，家名被允许存续。忠政的继承人是养子定