繁地更换藩主而荒废，藩政非常困难，因此从政宗的仙台藩中借用黄金3万两（一说是6万两），不过在归还时出现问题，惣奉行山家公赖从宇和岛藩10万石中，分出3万石，以此充当向政宗的还款，因此许多家臣被逼减俸，于是反对派以樱田为中心，与山家对立。另外，山家本来是山形藩最上氏的家臣，因此一直与伊达家的谱代樱田不和。元和6年（1620年）1月，被幕府命令修筑大坂城石垣的秀宗，派遣山家和樱田为奉行。不过关于工事的状况报告，向秀宗进谗，指责山家，被怀疑的山家为了向秀宗解释而归国，（实际上山家是正当的一方，而失去面子的樱田