しかし判官が「遅なわりしは不調法」と謝りつつ、勘平を通して届けられたかほよ御前からの文箱を取り出し師直に渡すと、師直はまたもがらりと様子を変え、執心するかほよの文が来たことに機嫌を直す。師直は文箱を開けて中身を改めた。…だがその内容は、師直の期待を大きく裏切るものだった。かほよの文には次の和歌が記されている。
これは『新古今和歌集』にある古歌であり、要するに塩冶判官というれっきとした夫（つま）を持つ自分への求愛はお断りしますという返事であった。
この恋の不首尾に、師直の怒りは収まらない。そしてこの怒りは、いま目前にする判官にぶつけられた。さてはこの夫の判官にも自分のことを打ち明けているのだろう…そんな勘繰りをしながら、判官の出仕が遅れたのは、奥方のかほよにへばりついていたからだろうとか、または判官のことを井戸にいる鮒に譬えるなどの悪口を、判官に向って散々に浴びせる。あまりのことに判官もついに堪忍袋の緒が切れた。
「こりゃこなた狂気めさったか。イヤ気が違うたか師直」「シャこいつ、武士を捕らえて気違いとは、出頭第一の高師直」「ムムすりゃ今の悪言は本性よな」「くどいくどい、本性なりゃどうする」「オオこうする」と判官は、刀を抜いて師直へ斬りつけた。
判官が抜いた刀は師直の眉間を切る。なおも斬り付けようとする判官、だが次の間に控えていた本蔵がこれに気付き、判官を抱きかかえて止める。師直はその場を逃げ出し、騒ぎを聞きつけた大名たちも駆けつけ判官は取り押さえられ、館の内は上を下への大騒ぎとなった。
（裏門の段）館は判官の刃傷により、表門裏門ともに閉められた。腰元のおかると情事の最中だった勘平は館で騒動が起こったことを知り、慌てて館の裏門へと駆けつけたが、聞けばあるじの判官が師直と喧嘩となって刃傷に及んだことにより、閉門を命じられ罪人の乗る網乗物で自らの屋敷に送られたという。
主家が閉門となったからには戻ることも出来ない。色事にふけって大事の主君の変事に居合わせなかったとは武士にあるまじき事…もはやこれまでと勘平は刀に手をかけ切腹しようとした。だがおかるがそれを止め、こうなったのも自分のせい、ひとまず自分の実家に来て欲しいといって泣き沈む。勘平は、いまは本国に帰っている家老の大星由良助が戻るのを待ってお詫びしようと、おかるのいうことを聞いてこの場を立ち退くことにした。