着る物にも乗り物にも非常に気を使い、ヤクザのファッション リーダーとして時勢を風靡した。普段着からジーンズを履き、スーツの着こなしも洗練されていて、車はリンカーン・コンチネンタルを好んで購入した そのスタイルは注目を浴びた。好きな曲は「St. Louis Blues」で、自伝を元とした映画「神戸国際ギャング」ではテーマソングに使わせた。自分の墓は立派なものではなく、木の板にボンノと書いて土に埋めてくれればいいと言ったという。
事後この一件を周囲に吹聴したことと、次第に組織の中で強くなる力に軋轢も生じ始め、山本健一との関係は次第に疎遠になっていった。また、菅谷組舎弟の川内組組長・川内弘の本家直参昇格を巡り内部抗争を起こし、1977年4月13日、菅谷の命を受けた襲撃部隊が川内を射殺する事件が発生（三国事件）。この事件を重要視した山口組執行部は一同名義で菅谷を絶縁処分とした。山口組に絶縁された後も菅谷組は解散せずに独自に存続するが、次第に離散する者が増え、1978年に菅谷が収監されるに至って勢力はさらに縮退していった。『最後の博徒 波谷守之の半生』によると 1981年に出所した菅谷は波谷守之に相談しに行き、組の解散を進言される。この時点で波谷と菅谷組の実力者・浅野二郎は菅谷の体が癌に侵されていて、余命が長くないことを医師から伝えられていた（本人には伝えられていなかった）。2人にとって、余命をカタギとして穏やかに暮らして欲しいと願っての進言だった。菅谷は2人の進言を受け止め、菅谷組の解散を決断し、1981年6月、田岡の元に「長いこと親不孝しました」と詫びを入れて解散を通知し、カタギとなった。その翌月の7月23日に田岡は心臓病のため死去し、菅谷も同年11月25日に67歳にて死去した。
1946年（32歳）から1959年（45歳）まで服役し、その仮出所後の同年11月、田岡一雄から若衆の盃を受けて山口組の若衆となった。菅谷は間もなく菅谷組を結成し、菅谷組は瞬く間に神戸で大きな勢力をふるうに至った。1960年の明友会事件後、菅谷組も舎弟頭・浅野二郎（後の浅野組組長）が大阪に事務所を構え、菅谷も大阪にいる時間が長かったとされる。大阪では誠会（後の二代目小車誠会）を率いる川口義昌を舎弟分として在阪勢力を驚かせ、有名な博徒でもある波谷守之とも知り合った。後には業界の老舗である大阪の酒梅組四代目・中納幸男と五分の兄弟盃を交わしている（なお、三代目の松山とは田岡が五分兄弟盃）。1961年から1964年頃にかけて菅谷組は神戸、大阪、和歌山、福井、石川、福島、愛媛、福岡、熊本に進出し、最盛期には構成員1200人を擁した。警察論文集によると「麻薬暴力団」とされる菅谷組は、福島、栃木、四国などで密売組織を作り数度にわたり覚醒剤事犯を起こしている。また経済力も強く、1974年に出資法違反で起訴された際には年間20億円を超える収入があったことが明らかになっている。1963年に山口組の集団指導体制が発足すると菅谷は若頭補佐に就任。1971年に梶原組組長・梶原清晴の水難事故による急死を受けて、山健組組長・山本健一が若頭に就任する際には、互選で選出された山広組組長・山本広に対して、若頭断念の説得工作などを行った。
2月18日、イフォガス山地を聖域化し潜伏するイスラム過激派を掃討すべくパンテル作戦が発動される。150人から成るフランス＝マリ連合軍はテッサリトから50kmの地点でイスラム武装勢力と最初の衝突に至る。フランス軍部隊は前線航空統制官や落下傘コマンドーを含む偵察部隊が襲撃され、即座に機甲部隊のAMX-10RC偵察戦闘車が反撃、この戦闘で第2外人落下傘連隊所属の上級軍曹1人が戦死した。同一区域内ではミラージュ2000戦闘機2機が地上支援で重機関銃座2カ所を破壊、戦闘は数時間にわたって続き複数のイスラム武装勢力部隊を膠着状態に追い詰める。フランス国防省はパンテル作戦でイスラム武装勢力の重要な兵站拠点2カ所を破壊、戦闘員を追跡し20人以上を殺害し聖域の解体に端緒をつける。2月20日夜にガオ市内で再び戦闘が始まる。MUJAO戦闘員は市庁舎や裁判所など市中心部を占拠、マリ軍は応戦し、ニジェール軍は検問所の防備にあたり、フランス軍は市外の空港から増援部隊を派遣する。一昼夜にわたって戦闘は続き、やがて市庁舎からイスラム戦闘員は排除される。翌21日にはフランス軍部隊は撤収するが、散発的な銃声は22日午前中まで市内で響き渡り緊迫した状況が続くも、やがて平穏を取り戻す。2月22日、チャド軍主体の連合軍はイフォガス山地にある拠点を掃討すべく作戦を開始、その日の午後には拠点を奪取するも、チャド軍特殊部隊指揮官が戦死するなど双方に多大な損害が出る激戦が展開された（イフォガスの戦い）。2月23日にチャド軍当局はマリ北部での軍事介入以来の損害を報告する。通算でイスラム戦闘員65人を殺害し、自軍は13人が戦死、2月22日の戦闘で6人が負傷、さらに軍当局はイフォガス山地で戦闘をしていると発表している。