その結果、愛媛県の芦原の下には県内外から入門希望者が殺到し、芦原道場は松山駅前に新道場を構えるまでに成長したが、大山は自分が主役であるはずの「空手バカ一代」劇中で弟子が活躍し人気を得ていることを快く思わず、梶原に苦言を呈し芦原との間にも軋轢が生まれた。支部長会議の席では、芦原が大山の発言を無視して一触即発の状況になり、真樹日佐夫（梶原の実弟）が慌ててなだめるという緊迫した場面もあったという。真樹は著書「大山倍達との日々～さらば極真カラテ！」でも、それ以前から支部長会議で芦原が大山に再三異議を唱える、合同稽古でも芦原が大山の指示を慇懃無礼な態度で拒否するなどの行為で両者の間に確執があった事を述べている。
また、近年になって芦原の元門下生がインターネット上にアップしたいくつかの資料から、実際は除名以前から芦原道場は本部を半ば無視したような独自の経営に徐々に移行しており、「極真会館芦原道場」と並行して「芦原会館」の名称も既に使われていた事が明らかになっている。
芦原本人は、自著『空手に燃え空手に生きる』等にて、そのようなけんか腰の態度はしておらず、同支部長会議の席で極真会館退会の意向を示し、「すぐに辞めるのは（極真に）迷惑がかかるからあと一年で辞めさせてほしい」と申し出て松山に帰ったところ、半年後に極真会館側が一方的に全国紙を使って「芦原英幸の永久除名」を発表した、と記している。
また、同書では前述の松山での新道場を建てた際にも（極真）総本部から、「立派すぎる」「それ程の規模の道場を建てるカネがあるならもっと本部に送れ」とのクレームが来た事を語っている。
極真会館を退会した直後、ある後援者に「これで大山とは師でも弟子でもなくなったな」と言われた際に「私の師匠は今も昔も大山倍達です」と静かに返したという逸話が、芦原の逝去を伝える『ゴング格闘技』に掲載された。
極真会館除名後の大山に関する言動.
他によく知られているのが、生前の大山が「私が死んだ時に少しでも財産が残っていたら弟子は全員私の墓に唾をかけろ」と言っていた事を引き合いに出して、「墓の周りに池が出来る…」と皮肉ったというものである。