远山直廉为岩村城主远山景前（一说为景友）的儿子（次子或三子），他的哥哥远山景任（一说为景前）为日后的岩村城主。1552年（天文二十一年），直廉被过继到断绝了的苗木远山氏（远山七头之一），成为家主远山景德的养子，并继承了苗木远山氏。他在手贺野（现在的岐阜县中津川市手贺野）建造了馆，后来又将高森山砦扩张成苗木城，成为了苗木城主。当时，由于土岐氏重臣斋藤道三的下克上，美浓的控制权落入到斋藤氏的手中，而远山氏此时也暂时从属于斋藤家。此时通过一系列武力扩张，已经基本统一南信浓（信浓侵攻）的甲斐武田氏开始向西进