飯守重任
反青法協を取っていた最高裁も同じ立場には立てず、最高裁は飯守の上司である福岡高裁長官宛てに「件の公開質問状の形式で回答を求めることは明らかに所長の職務範囲を逸脱した行為である。よって、同所長に対し公開質問状を撤回するよう伝達されたく、また質問を受けた裁判官にも質問に応ずる限りではない旨を伝達されたい」と緊急指示を出した。そして、最高裁は飯守を東京高裁判事に異動させようとすると、飯守が拒否したため、最高裁初めての措置としてただちに鹿児島地裁・家裁所長を解職して地方判事に格下げした。飯守は辞職を選び、直後に「解任されるだろうことを前提にして行動していたので、別に驚いてはいない。これからは野に下り、自由に青法協批判活動を続けていく」と述べた。
その後、1972年から京都産業大学で教授を務めた。
1975年4月に行われた東京都知事選挙では、自民党が擁立した石原慎太郎の推薦人に名を連ねた。選挙後、飯守は『経済時代』1975年5月号でこう書き記した。「美濃部氏が8年間共産主義的イデオロギーに基づいて都政を執り始め、日本の共産主義革命の将来のために貢献したことは紛れもない事実である。であればこそ石原氏は美濃部赤色都政に終止符を打ち都政への自由社会化のために決然起ったのであるが、惜しくも破れた」「美濃部氏のスマイルは婦人票に絶対に強く、石原氏の男らしさは婦人票に弱い。婦人は本性上視野が狭く政治に弱いから当然である」
撫順戦犯管理所に収容された経験をもち、中国帰国者連絡会(中帰連)のメンバーであったが、全国各地で起こったアイゼンハワー米大統領の来日反対への暴力デモの逮捕者に対し、裁判の被告の弁護士まで有罪にして収監した「飯森事件」により中帰連から除名された。
1980年11月5日、死去。