左大臣・西園寺公衡の長男、母は藤原光保女。