鹿ケ谷の陰謀を企て平家転覆を企んだ俊寛・成経・康頼の三人は、鬼界ヶ島に流され早三年。彼らの流罪には刑期がなく、死ぬまでこの島にいなければならなかった。食べるあてもなく、たまにくる九州からの船に硫黄を売ったり、海草を食べたりして食をつないでいた。
物語は、この地に住む海女千鳥と結婚することを成経が打ち明けるところから始まる。島にきて以来の絶望的な状況の中起こった、数少ない幸福な出来事を歓びあう三人と千鳥。そして形ばかりのことながら、成経と千鳥は俊寛と康頼の前で祝言の杯を交わすのだった。
するとそこへ、大きな船が島を目指してやってくるのが見える。何事かと皆は驚くがそれは都からの船であった。船が浜辺に着くと中から上使の妹尾が降りてくる。妹尾は彼らの流罪が恩赦されたことを伝える。建礼門院が懐妊したため、平清盛が恩赦を出したのだ。夢かと喜びあう三人だったが、妹尾が読み上げる赦免状の中に、なぜか俊寛の名前だけ無い。俊寛は赦免状を手に取り何度も内容を確認するが、やはり自分の名前だけが見当たらない。
俊寛は清盛から目をかけられていたにもかかわらず裏切ったので、清盛の俊寛に対する怨みは深く、それゆえ俊寛だけが恩赦を受けられなかったのだ。妹尾はそう憎々しげに俊寛に伝えた。
喜びの後の突然の暗転に打ちひしがれて俊寛は泣き叫ぶ。だがそこへもう一人の上使である基康が船から降りてきて、俊寛にも赦免状が降りたことを伝える。俊寛にだけ恩赦が与えられないのを見兼ねた平重盛が、別個に俊寛にも赦免状を書いていたのだ。これで皆が帰れる。そう安堵して三人が船に乗り込み、千鳥がそれに続こうとすると、妹尾がそれを止める。妹尾がまたも憎々しげに言うには、重盛の赦免状に「三人を船に乗せる」と書いてある以上、四人目に当たる千鳥は乗せることはできないというのだ。