，后来被中纳言藤原家成收为养子。他是入道信西（藤原通宪）乳母的儿子。因为这层关系，再加上是藤原家成的养子，藤原师光被任命为左卫门尉。平治之乱信西死后出家，法号西光。此后出仕后白河法皇，被称为法皇的第一近臣。安元三年（1177年），西光与藤原成亲、俊宽、多田行纲等人在鹿谷山庄密谋打倒平家，史称鹿谷阴谋事件。同年三月，其子藤原师高、藤原师经与比叡山僧众发生冲突，比叡山僧众抬着神舆前往京都的皇宫前发起强诉，要求处罚师高和师经。西光向法皇进谗，致使天台座主明云大僧正被停职流放伊豆国。但途中明云被僧众夺回，西