極真会館への刷新後は本部指導員を務めたが、ブラジルに指導員として派遣される数日前に暴力事件を起こして無期禁足処分となり(劇画『空手バカ一代』では破門となっているがこれは脚色)、廃品回収業を約二ヶ月勤める。暴力事件の後、芦原は、最悪の場合二度と空手が出来なくなるかもしれないと覚悟を決めて極真会館総本部の館長室の扉を開けた。口も聞いてくれない師大山倍達の代わりに「ご苦労さん、君はもう来なくていいんだよ」と、無期禁足処分を伝えたのは師範の黒崎健時であった。大山自身は芦原を(劇画の通りに)破門にするつもりであり、これは芦原も「当然だと思う」としており、「こんな人間をブラジルに(指導員として)送ろうとしていたのかと、館長自身も大きなショックを受けられたようだ」と述懐している。それを、「破門はあまりにも可哀想だ」と大山に進言してどうにか無期禁足処分にとどまるよう尽力してくれたのが黒崎であった。黒崎と共に館長室を出た芦原は、せめてもの詫びにと、黒崎の前で持ってきていたナイフで自分の指を切り落とそうとしたが、黒崎に「馬鹿野郎!」とナイフを取り上げられ、「お前の汚い指なんかもらったって仕方がないんだよ、ヤクザ映画の見すぎだ!」と一喝された。そして、禁足という処分が出たんだから、処分が解けるまで大人しくしていればいいと言う黒崎に、それだけでは自分の気が済まないと芦原は訴えた。黒崎はそんな芦原に、ならば死んで生まれ変わったつもりで廃品回収をやってみるよう提案してくれた。芦原はもちろん二つ返事でやると答えたが、必死なあまり、「それで、いつからやればいいんでしょう?」と聞いてしまい、これには黒崎も、「...今日からでもやったらいいんじゃないの?」と呆れて答えた。後年芦原は、「どこの世界に、自分が反省するのに明日から明後日から反省しようと考える人間がいるのだ。この時の事を思い出すたびに今でも赤面する」と述懐している。単身四国へ.極真会館除名・芦原会館設立・死去まで.弟子との関係.著書の中では「師と弟子は一生の関係」のような考え方を否定していた芦原だが、自身の元を去り、独立した弟子達はほとんど許さず、自らの葬儀への参列も許さぬよう側近や家族に遺言しており、石井和義のように葬儀場で参列を断られた者も多かった。師・大山倍達との確執について.