色川武大名義では主に純文学を、阿佐田哲也名義では『麻雀放浪記』をはじめとするギャンブル小説（無頼漢たちを主役に据えたピカレスク小説）を多数発表しているほか、井上志摩夫名義では時代小説などを発表している。
「阿佐田哲也」のペンネームについては、麻雀で徹夜を繰り返し『朝だ!徹夜だ!』といったことに由来している。「”ハスラー”って映画があったでしょう。あれはギャンブルを描いた映画ではなかなかよく出来ていた。それでハスラーって言葉を日本語にするとどうなるかなあと考えたら、朝だ徹夜って言葉が出てきたんだよ」という発言もある。
「武大」の本名は父親が中国の小説『金瓶梅』の登場人物より名付けたものと、本人は言っていた。
ギャンブル.
麻雀の分野においては、麻雀をカルチャーとして広めたという意味で戦後最大の功績者である。「雀聖」とも呼ばれ、神格化されるビッグネームである。
また、麻雀技術書において麻雀に戦術があることを書き、五味康祐とともに「単なるギャンブル」とみなされていた麻雀を「知的なゲーム」として認識させた。
また、小説の中に登場人物の配牌図を入れる「麻雀小説」の発明者である。他の作家たちに影響を与え、彼らは「麻雀小説」、「麻雀劇画」を生んだ。なお、牌の状況を書く際は、麻雀牌の印が刻まれた特注のハンコを用意し、それを原稿用紙に捺していたという。
なお、『麻雀放浪記』はあくまで小説であるが、これが「私が」などという一人称で書かれたものであったため、小説の主人公であり、また小説の主人公でしかない「坊や哲」と、書き手の「阿佐田哲也」を同一視し、色川のことを名うてのアウトロー・雀鬼と錯覚する青少年が続出し(色川曰く、そういう手で売りにかかろうと、当初よりある程度は計算の内であったのであるが)、内心おろおろしていたという。ただしこれは自身をモデルとした小説、『小説 阿佐田哲也』で述べられたものであり、これ自体もあくまで小説である。
友人である作家山口瞳の競馬随筆などにも何度か登場しており、山口が雑誌で連載していた随筆連載では旅打ちのゲストとして登場している。この山口の随筆には、色川の持病のナルコレプシーについての描写も見られる。
ラスベガスへも何度も通った。好きだったバカラは清水一行から教わったという。