。出自一派的高山党庶流甲贺五十三家之一。父亲友照担任当主的时期，仕于当时畿内最大势力三好长庆，跟随三好氏的重臣松永久秀，以大和国宇陀郡的泽城（现今奈良县宇陀市榛原）为居城。在天文21年（1552年）出生，家中嫡男。永禄7年（1564年），接受天主教的洗礼（12岁）。父亲友照在奈良听到琵琶法师兼耶稣会修道士的说话后，受到感动，于是接受洗礼，同时返回居城泽城，并令家人和家臣洗礼。于是得到洗礼名"Juste"（）。不过三好氏在当主长庆于永禄7年死去后，因为内纷等原因而急速衰退，高山氏本来的所领摄津亦被豪族