後日この件が問題視され、執権北条義時、駿河守北条時房、大江広元、三善善信、それに二階堂行光によって詰問が行われた。吾妻四郎助光以外にも不参加だった武将がいたが、彼らはそれぞれ、身内に不幸があって服喪しており慶賀行事に参加するのは憚られたとか、病気で体調を崩していたとか申し立てて難を逃れた。しかし吾妻四郎助光は適切な理由を述べることができなかった。
二階堂行光は、大名でもない吾妻助光が伴に加えられるのは武勇をかわれての名誉なのに、怠るとは何事かと咎る。吾妻助光は、晴れの舞台のために用意した鎧をネズミに齧られてしまい、傷物の鎧で列に加わってはかえって将軍の恥になると考えて自重した、と弁解した。
だがこれが逆に二階堂行光の逆鱗に触れた。二階堂行光は、列に加わるのはあくまで警護が目的であり、新調の鎧で着飾って見せるのではなく、倹約して代々使い古されて傷んだ鎧を着てこそ武士の誉れである、と叱る。そのうえで、吾妻助光は以後の出仕に及ばずとされてしまう。
この年の暮れ、実朝の館の上空にアオサギが飛来し、寝殿の屋根に居着いてしまった。近習にこれを射落とすように命ずるも、誰も名乗り出ない。そこで北条義時（相模守）は、先般勘気に触れて退けられてしまった吾妻助光が近くに待機しているはずなので、召し出せと命じる。
吾妻四郎助光は急遽駆けつけた。慌てたために衣服を逆さまに着用していたという。助光は狙いを定めて矢を放つも、その場の者たちからは助光が的を外してしまったように見えた。ところがサギは庭先に落ちてくる。助光は、サギの左目に矢羽根をかすらせて、サギを落として生け捕りにするという離れ技を披露したのだった。
助光はその腕前を称賛され、太刀を授かるとともに、改めて実朝の側近に取り立てられた。
一連のエピソードから、吾妻四郎助光は鎌倉に住んで幕府に勤めていたことが窺い知れる。
その後も正月の弓始めで助光が射手を務めたことが記録されている。
『吾妻鏡』ではこの記録を最後に、吾妻氏に関する記述はない。
後世の言及.
『再編吾妻記』には吾妻四郎助光が将軍の館の屋根からサギを射落とした逸話が収録されている。
伝承や物語に登場する吾妻四郎助光.