重臣中野宗时、牧野久仲父子所掌握。因此希望得到家中统治集权的辉宗在永禄13年（1570年）4月，以中野宗时企图谋反的口实攻陷久仲的居城小松城，此后把中野父子流放。另外辉宗还处罚了没有帮助自己的家臣小梁川盛宗、白石宗利、宫内宗忠等人。在同年介入义姬的实家最上家中义守、义光父子之间的斗争，辉宗出兵支援义守并进攻义光，不过因为义姬以兄弟间为何不讲情面，却要兵戈相见呢请求辉宗退兵而归还。此时已掌握家中实权的辉宗提拔鬼庭良直为评定役并加以重用并负责军事要务，而且发现中野宗时的家来远藤基信的才能而把其召到自己身边，