しかし高政の実弟で2000石の領主であった吉安が高成の異母兄高明を擁して異議を唱えたために御家騒動となり、窮した家老が幕府に嘆願して認められ、第3代の家督は高直が継いだ。