。1552年（天文二十一年），直廉被过继到断绝了的苗木远山氏（远山七头之一），成为家主远山景德的养子，并继承了苗木远山氏。他在手贺野（现在的岐阜县中津川市手贺野）建造了馆，后来又将高森山砦扩张成苗木城，成为了苗木城主。当时，由于土岐氏重臣斋藤道三的下克上，美浓的控制权落入到斋藤氏的手中，而远山氏此时也暂时从属于斋藤家。此时通过一系列武力扩张，已经基本统一南信浓（信浓侵攻）的甲斐武田氏开始向西进军，并于1554年（天文二十三年）控制了南信浓与美浓边境的，于1555年（弘治元年）又进攻东美浓并占领了远山氏之