执政的时代已经有了很大程度的衰退。紧接着又于天文元年（1533年），居城大宝寺城又遭到了砂越氏维的攻击和放火，虽然说一度在越后上杉氏的中介下而短暂和睦，但是翌年又再度发生了争执。此时，因为流域发生了变化，因而居城失去了抵御天然灾害的能力，此外曾遭受过洪水灾害，因此晴时将居城搬到了更为坚固的。在大永年间，与砂越氏抗争得到平息后的一段时间曾向幕府进贡物资，因此幕府处获得的官位，后来上洛拜见将军足利义晴，在归国的时候早逝。由于晴时无子，因此在家臣的努力下令同族的继承家督。