177年），俊宽参加藤原成亲、西光等打倒平氏的阴谋。根据《平家物语》的记载，俊宽邀请同谋者在自己位于京都东山鹿谷的山庄里进行密议。但是，参与阴谋的多田行纲秘密向平清盛告发，阴谋败露，俊寛和藤原成经、平康赖一起被捕，流放到鬼界岛（属萨摩国辖下）。这就是鹿谷阴谋事件。根据《源平盛衰记》的记载，藤原成亲利用松之前、鹤之前二位殿上童吸引俊寛参加鹿谷阴谋。《平家物语》记载，配流鬼界岛后的俊宽三人每天望乡度日，成经和康赖发心制作千支卒塔婆放流大海，但是，俊宽不加入。最后，一支卒塔婆流到安艺国严岛，并被平清盛得知