山鹿谷的山庄里进行密议。但是，参与阴谋的多田行纲秘密向平清盛告发，阴谋败露，俊寛和藤原成经、平康赖一起被捕，流放到鬼界岛（属萨摩国辖下）。这就是鹿谷阴谋事件。根据《源平盛衰记》的记载，藤原成亲利用松之前、鹤之前二位殿上童吸引俊寛参加鹿谷阴谋。《平家物语》记载，配流鬼界岛后的俊宽三人每天望乡度日，成经和康赖发心制作千支卒塔婆放流大海，但是，俊宽不加入。最后，一支卒塔婆流到安艺国严岛，并被平清盛得知，平清盛大为感动。当时平清盛的女儿德子（高仓天皇的中宫）正要分娩，为了让中宫安产，朝廷举行了祈愿并恩赦流放