持不满，以越后上杉氏的养子问题为契机拥立晴宗而引发天文之乱，在数年的抗争后得到胜利，令稙宗被迫隐居。宗时从晴宗手上得到特权，于是令权势得以扩张。晴宗在永禄7年（1564年）把家督让予辉宗后隐居，而宗时的权势在辉宗一代亦没有衰减。不过在永禄13年（1570年）4月，宗时和儿子牧野久仲一同被辉宗怀疑谋反而被追杀。宗时决定前往投靠相马盛胤而逃走，在越过二井宿峠后向太平洋侧前进。在途中，因为高畠城城主小梁川盛宗、白石城城主白石宗利、内亲城城主宫内宗忠、角田城城主田手宗光都与宗时有亲近的关系，于是放过中野势通过，