後に執筆した『麻雀放浪記』の主人公「坊や哲」や「女衒の達」さながらのバクチ修行をし、サイコロ博打や麻雀の腕を磨く。稼いだ時は上宿へ泊まり、文無しになった際は野宿をした。このギャンブル没頭時代に、後に彼の人生自身の哲学となる「ツキの流れを読んでそれに従う」「欲張りすぎず、（相撲でいえば）九勝六敗を狙う」などの考えを身につける。
この頃の色川は（本人は「顔も声も悪い」と言ってはいたが）痩身の美男子であった。また山田によると「円形恐怖症」で、リンゴ、卵、ボールなどを怖がり、のちの『怪しい来客簿』では「山が怖い」と書かれている。
この頃から、山田宅や藤原宅で麻雀が催されると自分の番が来るまでに寝てしまい、その度に起こされていたという。なお、麻雀の玄人であったことがばれないよう、トップにはならず「いつも、少しだけ浮く」という麻雀を打っていた。吉行淳之介はその打ち方を見て不審に感じ、のち阿佐田哲也名義で『麻雀放浪記』が刊行された際、「この作者はおそらく色川武大だ」と直感したという。
藤原の主宰する小説勉強会で知り合った当時北海道新聞の記者をしていた夏堀正元が色川を「傑作を書ける男だ」と『中央公論』の笹原金次郎に紹介した。この頃、夏堀正元の紹介で新日本文学会にも入会。当時の色川は「あまり本を読まない文学青年」で、夏堀が薦めたドストエフスキー等には反応せず『旧約・新約聖書』に熱中していた。
しかし、その後はスランプに陥り、以降しばらく同人誌での活動を行う。また「生活費は競輪などのギャンブルで稼いでいる」と知人には語っていた。
夏堀正元、井出孫六、黒井千次らと同人誌『層』発刊。また近藤信行、平岡篤頼、古井由吉等の同人誌『白猫』にも参加。有馬頼義主宰の若手作家の文学サロン「石の会」では高井有一、高橋昌男、五木寛之、佃實夫、萩原葉子、室生朝子、中山あい子、後藤明生、森内俊雄、渡辺淳一、梅谷馨一、立松和平らを知る。
また、若手の麻雀強豪（小島武夫、古川凱章ら）を集めて麻雀エンターテインメントグループ「麻雀新撰組」を結成し、局長に就任。麻雀メディアに大きな影響を及ぼす。この経緯はのちに『小説・阿佐田哲也』に書かれている。
。以降は、本名と阿佐田哲也名義で執筆を続け、精通している博打、映画、芸能、ジャズや幅広い交友関係などを元にした著書を多数出版し続けた。
作家活動.