手贺野（现在的岐阜县中津川市手贺野）建造了馆，后来又将高森山砦扩张成苗木城，成为了苗木城主。当时，由于土岐氏重臣斋藤道三的下克上，美浓的控制权落入到斋藤氏的手中，而远山氏此时也暂时从属于斋藤家。此时通过一系列武力扩张，已经基本统一南信浓（信浓侵攻）的甲斐武田氏开始向西进军，并于1554年（天文二十三年）控制了南信浓与美浓边境的，于1555年（弘治元年）又进攻东美浓并占领了远山氏之领土，远山家通过远江国众天野景泰从属于武田氏。1557年（弘治二年）七月，远山景前病逝，远山家爆发了继承人之争，家臣请求武田晴