年（1564年）把家督让予辉宗后隐居，而宗时的权势在辉宗一代亦没有衰减。不过在永禄13年（1570年）4月，宗时和儿子牧野久仲一同被辉宗怀疑谋反而被追杀。宗时决定前往投靠相马盛胤而逃走，在越过二井宿峠后向太平洋侧前进。在途中，因为高畠城城主小梁川盛宗、白石城城主白石宗利、内亲城城主宫内宗忠、角田城城主田手宗光都与宗时有亲近的关系，于是放过中野势通过，不过在松川的渡口宫之河原（现今刈田郡藏王町宫）受到亘理城城主亘理元宗的攻撃而溃灭，宗时只身逃往相马的领地。宗时和久仲通过大森城城主伊达实元和晴宗请求辉宗赦免