東京府東京市牛込区（現・東京都新宿区）矢来町生まれ。祖父の色川圀士は文部官僚。分家筋に衆院議員の色川三郎兵衛がいる。父親は40代の若さで退役した海軍大佐であった。武大は、父が44歳のときに初めて生まれた長男であった。父は何も仕事をせず、常に自宅におり、家族は軍人恩給で生活していた。また、父は子どもをしかる時は鞭をつかい、98歳の長命を保った。この父親との関係は、色川文学の大きなテーマの一つとなっている。色川が小学校入学の年に弟が生まれる。学校生活になじめず、小学生時代から学校をサボって浅草興行街に出入りし、映画や寄席、喜劇などに熱中する。あまりに学校をサボるので塾に通わされたが、そこもまたサボって寄席に通っていた。アメリカ映画のスタッフの名前を覚えて各人の出世や退職などを見守ったり、実在の相撲の力士や野球選手の名前を書いたカードを作り、サイコロを振って勝敗をつける独自のゲームを考案して、その「一人遊び」に熱中したりした。相撲ゲームには20代半ばまで熱中した。後年、競輪に熱中するようになると、実在の競輪選手4000人のカードを作り、それを使ったゲームにも熱中した。1941年旧制第三東京市立中学（現・東京都立文京高等学校）に進学。1943年からは勤労動員で工場で働くが、ガリ版同人誌を密かに発行していたことが露見し、無期停学処分を受ける。1945年に終戦を迎えるが、無期停学処分のままだったために進級も転校もできず、結果的に中学を中退。父親の恩給が止まったため、生活のため以後5年ほどかつぎ屋、闇屋、街頭の立ち売り、博徒などの職を転々とし、アウトローの生活へ身を投じる。後に執筆した『麻雀放浪記』の主人公「坊や哲」や「女衒の達」さながらのバクチ修行をし、サイコロ博打や麻雀の腕を磨く。稼いだ時は上宿へ泊まり、文無しになった際は野宿をした。このギャンブル没頭時代に、後に彼の人生自身の哲学となる「ツキの流れを読んでそれに従う」「欲張りすぎず、（相撲でいえば）九勝六敗を狙う」などの考えを身につける。やがて1950年（昭和25年）頃から各種業界紙を転々と渡り歩くようになる。1953年（昭和28年）には桃園書房に入社。事実上アウトローの世界より引退。『小説倶楽部』誌の編集者として藤原審爾や山田風太郎のサロンに出入りをする。特に、藤原には「人生の師匠」とまで傾倒していた。この頃の色川は（本人は「顔も声も悪い」と言ってはいたが）痩身の美男子であった。また山田によると「円形恐怖症」で、リンゴ、卵、ボールなどを怖がり、のちの『怪しい来客簿』では「山が怖い」と書かれている。この頃から既に後に病名が判明するナルコレプシーの兆候があり、山田宅や藤原宅で麻雀が催されると自分の番が来るまでに寝てしまい、その度に起こされていたという。なお、麻雀の玄人であったことがばれないよう、トップにはならず「いつも、少しだけ浮く」という麻雀を打っていた。吉行淳之介はその打ち方を見て不審に感じ、のち阿佐田哲也名義で『麻雀放浪記』が刊行された際、「この作者はおそらく色川武大だ」と直感したという。藤原の主宰する小説勉強会で知り合った当時北海道新聞の記者をしていた夏堀正元が色川を「傑作を書ける男だ」と『中央公論』の笹原金次郎に紹介した。この頃、夏堀正元の紹介で新日本文学会にも入会。当時の色川は「あまり本を読まない文学青年」で、夏堀が薦めたドストエフスキー等には反応せず『旧約・新約聖書』に熱中していた。1955年（昭和30年）に桃園書房をクビになり、以降、生活のために「井上志摩夫」名義での娯楽小説を書く。この頃から新宿ゴールデン街の名物バー『まえだ』に通うようになる。1961年（昭和36年）に、父親のことを書き本名で応募した『黒い布』が伊藤整や武田泰淳や三島由紀夫の激賞を受け、第6回中央公論新人賞を受賞。なお、この受賞パーティが野坂昭如の「文壇パーティ・デビュー」の会でもあり、後の野坂の小説『文壇』でその様子が描写されている。しかしその後はスランプに陥り、以降しばらく同人誌での活動を行う。また「生活費は競輪などのギャンブルで稼いでいる」と知人には語っていた。夏堀正元、井出孫六、黒井千次らと同人誌『層』発刊。また近藤信行、平岡篤頼、古井由吉等の同人誌『白猫』にも参加。有馬頼義主宰の若手作家の文学サロン「石の会」では高井有一、高橋昌男、五木寛之、佃實夫、萩原葉子、室生朝子、中山あい子、後藤明生、森内俊雄、渡辺淳一、梅谷馨一、立松和平らを知る。1966年（昭和41年）に『週刊大衆』に「雀風子」の筆名で『マージャン講座』というコラムを執筆したところ人気を博し、この連載はタイトルを変更しながらも2年間続く。この頃から原因不明の睡眠発作・脱力症状・幻視・幻聴・幻覚（後述）に悩まされるようになり、治療費が必要になる場合に備えて、さらに別の名前で執筆することを決めた。1968年（昭和43年）に『週刊大衆』に「阿佐田哲也」名義で発表した『天和の職人』などで「麻雀の牌の並びが小説中に記載されている麻雀小説」を発明する。1969年（昭和44年）に、やはり『週刊大衆』に連載を開始した自伝的小説『麻雀放浪記』シリーズで若い読者の圧倒的人気を得て脚光を浴び、世は麻雀ブームとなる。以後、麻雀小説を多数執筆し、その影響で「麻雀専門誌」や「麻雀専門劇画誌」などが生まれ、その多くに阿佐田は執筆した。1970年（昭和45年）から『週刊ポスト』において作家や芸能人、スポーツ選手などが参加する「麻雀勝抜き戦」の「観戦記」を執筆し始める（1976年まで）。自らも選手として参加し、麻雀を通して交友範囲を大きく広げる。麻雀を通しての交友であったので、井上陽水などとは非常に親しい仲になったにもかかわらず、陽水の歌声をかなり後まで知らなかった。また、この年から従妹（母親同士が姉妹）の黒須孝子と暮らしはじめる。なお、孝子は「この人は病気で数年で死ぬだろう。その間、看病してこの怪物のような人と暮らしてみたい」という気持ちだったという。また、若手の麻雀強豪（小島武夫、古川凱章ら）を集めて麻雀エンターテインメントグループ「麻雀新撰組」を結成し、局長に就任。麻雀メディアに大きな影響を及ぼす。この経緯はのちに『小説・阿佐田哲也』に書かれている。1973年（昭和48年）には孝子と結婚。孝子は直木賞受賞作『離婚』のモデルとなる。なお、孝子は若い頃東宝から映画女優としてのスカウトがきたほどの美人であった。1974年（昭和49年）に前述の精神病が難病のナルコレプシー（眠り病）と判明し、終生悩まされる事になる。この年、色川名義で『話の特集』誌に「怪しい来客簿」の連載を開始する。1976年（昭和51年）には胆石の悪化で一時期危険な状態にまで陥った。家族は葬式の手配までし、『近代麻雀』誌は追悼号の印刷までした。だが、医者も驚く奇跡的な回復をする。退院後、すぐその晩から清水一行、畑正憲らと丸二日間、麻雀をした。1977年（昭和52年）に『怪しい来客簿』が本名で刊行され、泉鏡花賞を受賞する。『黒い布』以来「色川武大」としては16年ぶりの復活であった。1978年（昭和53年）には『離婚』で第79回直木賞を受賞する。この作品は事実とフィクションが入り混じった内容で、孝子夫人は「小説のとおりの人物」と人から思われ、人間不信になり自殺まで考えたという。以降は、本名と阿佐田哲也名義で執筆を続け、精通している博打、映画、芸能、ジャズや幅広い交友関係などを元にした著書を多数出版し続けた。1989年（平成元年）4月3日、前の月に引越したばかりの岩手県一関市において心筋梗塞で倒れて病院に運ばれる。適切な手当の結果、一命を取りとめたと思われたが、1週間後の10日、入院先の宮城県栗原郡瀬峰町の病院にて心臓破裂で死去。60歳没。一関に移り住んでわずか10日後の事であった。戒名は行雲院大徳哲章居士。