寺实充的儿子公高战死，所以西园寺公广在永禄8年（1565年）还俗成为实充的养嗣子，另迎娶了实充的女儿西姬，以婿养子的身份继承家督。同年，也出兵进攻土佐国的一条兼定，但因为一条兼定的岳父大友宗麟出兵驰援而败退。永禄11年（1568年） 西园寺公广联合毛利氏、进攻一条兼定、宇都宫丰纲、获得胜利（鸟坂峠之战）。元龟3年（1572年）7月，西园寺公广再度进攻一条氏，因为跟一条兼定的亲戚关系，大友宗麟再度发兵来援，大友家臣、若林镇兴不但击退西园寺公广，甚至攻陷了西园寺家的饭森城，逼得西园寺公广反过来跟大友家称