安部譲二
日本航空退社後の1966年からは刑務所で服役する。同年、ボクシングジムを紹介するなど親交があった三島由紀夫の原作、田宮二郎主演で、日本航空時代の安部をモデルとした映画『複雑な彼』が大映で制作、封切りされている。田宮二郎が演じた主人公「宮城譲二」は、その後安部が作家デビューするにあたりペンネームにもなった。
安藤組解散後は、新宿の小金井一家にヘッドハンティングされる。同時に妻とレストラン「サウサリート」の経営、キックボクシング中継の解説者、ライブハウス経営、プロモーター、競馬予想屋などの職を転々とした。
1960年代後半から1970年代にかけて青山でジャズクラブ「ロブロイ」を経営していた時期は、本店を遠藤に任せ、赤坂と六本木と三田の支店をそれぞれ愛人に任せ、白いキャデラック・フリートウッドを乗り回し、ドーベルマンを飼い、大田区鵜の木の敷地700坪の豪邸に住むほどの勢いがあった。「ロブロイ」では菅野邦彦も弾いたが、当時高校生の矢野顕子も弾いた。
私立麻布中学校時代の同級生には元総理大臣の橋本龍太郎がいる。麻布中学の入学試験当日、頭のいい受験生の後席に座ればカンニングできると目論んだ安部は、他の受験生を品定めしたところ、橋本が一番頭がよさそうに感じその後席に座ることに成功したという。
後年、橋本と同窓会で会った際、政界に身を置くようになっていた橋本に自身と似た匂いを嗅ぎ取り、互いに都合の悪いことだけは黙して語らないことを約束したといわれる。また、橋本政権下の時代、コメンテーターとしてトーク番組で政治問題のコメントする際はいつも『俺は龍ちゃんと同級生だったから』とのことでいつも自民党擁護の発言が目立った。しかし、これは安部自身が元ヤクザのベストセラー作家でありながら橋本と同級生だったことを言いたかったちょっとしたネタであり、一緒に出演していた他のコメンテーターからは特に問題視されることはなかった。