回居城泽城，并令家人和家臣洗礼。于是得到洗礼名"Juste"（）。不过三好氏在当主长庆于永禄7年死去后，因为内纷等原因而急速衰退，高山氏本来的所领摄津亦被豪族池田氏、等势力威胁。
织田家臣时期.永禄11年（1568年），在织田信长强力的军事力庇护下，足利义昭成为第15代将军，于是状况突变。义昭消灭摄津的土着领主之一的后，把直臣和田惟政配置在，并任命惟政、伊丹亲兴、池田胜正为摄津守护（摄津三守护），于是高山父子仕于惟政。元龟2年（1571年），惟政在与池田氏的荒木村重和中川清