豊国の兄・豊数はかろうじて因幡国を領有していたが、鳥取城主の武田高信の攻撃によって拠点の布勢天神山城から退却を余儀なくされて以降、因幡守護家は急速に衰退していった。