被豪族池田氏、等势力威胁。
织田家臣时期.永禄11年（1568年），在织田信长强力的军事力庇护下，足利义昭成为第15代将军，于是状况突变。义昭消灭摄津的土着领主之一的后，把直臣和田惟政配置在，并任命惟政、伊丹亲兴、池田胜正为摄津守护（摄津三守护），于是高山父子仕于惟政。元龟2年（1571年），惟政在与池田氏的荒木村重和中川清秀的战斗中败北并战死（白井河原之战），不久后，村重压倒池田氏，并接近信长，得到「随意取走摄津国（即确保全域的领有权）」（）的承诺后，消灭再次接近三好氏的伊丹