77年），西光与藤原成亲、俊宽、多田行纲等人在鹿谷山庄密谋打倒平家，史称鹿谷阴谋事件。同年三月，其子藤原师高、藤原师经与比叡山僧众发生冲突，比叡山僧众抬着神舆前往京都的皇宫前发起强诉，要求处罚师高和师经。西光向法皇进谗，致使天台座主明云大僧正被停职流放伊豆国。但途中明云被僧众夺回，西光又建议法皇惩罚僧众。同年六月，就在僧众与法皇发生冲突的时候，多田行纲将西光等人阴谋推翻平家之事密告平清盛。西光得知后，试图逃往法皇的法住寺殿避难，途中被平家武士逮捕。平清盛怒责西光出身卑贱做事卑鄙，西光也大骂反驳。愤怒的平