もともとは伊予来住寺で僧籍にあったが、弘治2年（1556年）、当主であった伯父・西園寺実充の実子・公高が戦死したため、永禄8年（1565年）に実充の養嗣子として迎えられて還俗し、実充の娘・西姫の婿となり、家督を継承した。
天文6年（1537年）作为西园寺公宣（日语：西园寺公宣）之子出生，后被送入伊予来住寺出家，在弘治2年（1556年）因为西园寺氏（日语：西园寺氏）当主的伯父西园寺实充的儿子公高战死，所以西园寺公广在永禄8年（1565年）还俗成为实充的养嗣子，另迎娶了实充的女儿西姬，以婿养子的身份继承家督。