间，由于受到信浓国的和的进攻，土岐氏在美浓的势力衰退了。就因为如此，各地的国人众都乘机崛起，并修筑起城堡，以此来抵御四周外敌的进攻。远山氏也乘机崛起，以岩村城为中心四处发展势力。远山直廉为岩村城主远山景前（一说为景友）的儿子（次子或三子），他的哥哥远山景任（一说为景前）为日后的岩村城主。1552年（天文二十一年），直廉被过继到断绝了的苗木远山氏（远山七头之一），成为家主远山景德的养子，并继承了苗木远山氏。他在手贺野（现在的岐阜县中津川市手贺野）建造了馆，后来又将高森山砦扩张成苗木城，成为了苗木城主。