天文17年（1548年）出生，家中次男。初名元丰。永禄3年（1560年），父亲丰定死去，继承人栋丰（伯父祐丰的儿子）亦在永禄4年（1561年）死去，在哥哥丰数继承因幡山名家（通称布施屋形、布施殿）家督后，成为支城因幡岩井城的城主，后来被敌对的哥哥丰数和其家老武田高信从城内流放，于是逃到邻国但马国八束。在哥哥丰数死后，得到山中幸盛等尼子氏残军支援而继承因幡山名家的家督，不过在天正元年（1573年），被毛利氏武将吉川元春攻击，于是降伏于毛利氏军门之下。受毛利氏当主毛利辉元下赐偏讳，改名为元丰，后来与织田氏交