左門は母とふたり暮らしで清貧を好む儒学者である。ある日友人の家に行くと、行きずりの武士が病気で伏せていた。丈部は彼を看病することになった。この武士は、赤穴宗右衛門という軍学者で、佐々木氏綱のいる近江国から、故郷出雲国での主、塩冶掃部介が尼子経久に討たれたことを聞いて、急ぎ帰るところだった、と、これまでの経緯を語った。しばらく日がたって、宗右衛門は快復した。この間、左門と宗右衛門は諸子百家のことなどを親しく語らい、友人の間柄となり、義兄弟の契まで結んだ（衆道）。五歳年上の宗右衛門が兄、左門が弟となった。宗右衛門は左門の母にも会い、その後も数日親しく過ごした。
初夏になった。宗右衛門は故郷の様子を見に、出雲へ帰ることとなった。左門には、菊の節句（重陽の節句）、九月九日に再会することを約した。ここから、題名の「菊花の約」がきている。さて、季節は秋へと移っていき、とうとう約束の九月九日となった。左門は朝から宗右衛門を迎えるため掃除や料理などの準備をし、母が諌めるのも聞かず、いまかいまかと待ち受けるばかり。外の道には、旅の人が幾人も通るが、宗右衛門はまだ来ない。夜も更け、左門が諦めて家に入ろうとしたとき、宗右衛門が影のようにやってきたのだった。左門に迎えられた宗右衛門だったが、酒やご馳走を嫌うなど不審な様子を見せる。訣を尋ねられると、自分が幽霊であることを告白するのだった。宗右衛門は、経久の手下となったいとこ、赤穴丹治に監禁され、とうとう今日までになってしまった。しかし「人一日に千里をゆくことあたはず。魂よく一日に千里をもゆく」という言葉を思い出し、自死し、幽霊となってここまで辿り着いたのだ、と語った。そして、左門に別れを告げ、消えていった。
浅茅が宿.