6年（1537年）作为之子出生，后被送入伊予来住寺出家，在弘治2年（1556年）因为当主的伯父西园寺实充的儿子公高战死，所以西园寺公广在永禄8年（1565年）还俗成为实充的养嗣子，另迎娶了实充的女儿西姬，以婿养子的身份继承家督。同年，也出兵进攻土佐国的一条兼定，但因为一条兼定的岳父大友宗麟出兵驰援而败退。永禄11年（1568年） 西园寺公广联合毛利氏、进攻一条兼定、宇都宫丰纲、获得胜利（鸟坂峠之战）。元龟3年（1572年）7月，西园寺公广再度进攻一条氏，因为跟一条兼定的亲戚关系，大友宗麟再度发兵来援