牛鍋チェーン店のいろは牛肉店を創立経営した木村荘平の妾腹の八男として、東京市日本橋区吉川町両国広小路（現在の東京都中央区東日本橋）のいろは第8支店に生まれる。父の死後、浅草のいろは第10支店と京橋のいろは第3支店に移り、帳場を担当しながら兄・荘太の影響により文学や洋書に興味を持ち、小説の執筆などをして過ごす。著書『東京の風俗』所収の自伝的文章「私のこと」によると、旧制京華中学校4年生の頃から学校へはほとんど行かず、芝居見物と放蕩に熱中したという。1910年（明治43年）に同校を卒業した。旧制中学卒業後の翌1911年（明治44年）、長兄の許可を得て白馬会葵橋洋画研究所に入学し画家を目差すこととなる。翌1912年（明治45年）、岸田劉生と知り合い親交を深め、斎藤與里の呼びかけで岸田らとともにヒュウザン会の結成に参加した。1913年（大正2年）にいろは牛肉店から独立し、美術に関する著作・翻訳を行う傍ら洋画を描き注目された。1915年（大正4年）、劉生たちと共に草土社を結成、1922年（大正11年）まで毎回出品する。二科展や院展洋画部にも出品を重ね、1918年（大正7年）に院展出品作『二本潅木』で高山樗牛賞を受賞した。1922年、春陽会創設に客員として参加し、1924年（大正13年）に同正会員となりそこで作品の発表を続けた。1928年（昭和3年）に油絵『パンの会』を発表する。1936年（昭和11年）からは春陽会の事務所を引き継ぎ、会の運営に携わった。1924年以降は挿絵の仕事が増し、1937年（昭和12年）には永井荷風の代表作『濹東綺譚』（朝日新聞連載）においても挿絵を担当し大衆から人気を博した。他に描いた挿絵は大佛次郎の時代小説で、幕末・明治初期の横浜新開地を舞台にした『霧笛』、『幻灯』、『花火の街』、『その人』に加え、『激流 渋沢栄一の若き日』、『鞍馬天狗敗れず』がある。新派の喜多村緑郎を囲み、里見弴、大佛次郎、久保田万太郎等と集まりを持っていた。また、1945年（昭和20年）頃、加藤潤二の加藤版画研究所から新版画といわれる木版画「猫の銭湯」などを発表している。晩年となった戦後は、文明開化期からの東京の風俗考証に関する著作（『東京の風俗』、『現代風俗帖』など）を多数出版、数度再刊された。多忙のため病気（脳腫瘍）の発見が遅れ、短期で悪化し1958年11月18日に東大病院において病没した。歿後刊行の『東京繁昌記』で、日本芸術院恩賜賞（1959年）を受賞した。異母姉・木村曙や同母兄・木村荘太、異母弟・木村荘十はいずれも作家となった。異母弟・木村荘十二は映画監督である。
1989年に、MTV関係の授賞式の楽屋で、当時のメンバーイジー・ストラドリンがモトリー・クルーのヴィンス・ニールに殴られるという事件が起きた。理由は、当時ヴィンスと一時的に別居していた妻が、とあるクラブでイジーを引っ掛けようとして振られた腹いせにヴィンスを差し向けたとのこと。その後イジーとヴィンスは和解したが、アクセルは自分の一番の理解者であるイジーを傷つけられたことでヴィンスに大きな怒りを覚え、大変傷ついた様子。その後、何度かヴィンスに挑発的なコメントを投げかけていたが、ヴィンスから「テレビ中継の前で俺と喧嘩して決着を着けようぜ！！いつでも挑戦を受けてやる。」と言い聞かされ、さすがのアクセルも「身の危険を感じたので『新作のレコーディングで忙しいから無理』と言ってすぐに断った」と発言している。また、2006年のCNNでのインタビューの際にヴィンスは「それ以来俺はアクセルには会っていないし、現在は彼を殴ろうとは思っていない。」と発言している。また、イジーの発言を10数年に渡りノートに記録していたとされる。2000年辺りに、アクセルがイジーに電話をかけた際、「1982年にお前（イジー）はこう言った！」とノートをめくりながらイジーに詰め寄ったと、イジーがアクセル・ローズ批評伝内で明かしている。2008年11月23日に発売されたガンズ・アンド・ローゼズのアルバム『チャイニーズ・デモクラシー』の売り上げが、当初の予想よりも期待外れであること（アクセルによるプロモーション活動が十分でなかったとの噂）を米国のザ・サン紙へ問われた際、モトリー・クルーのヴィンスは、「あんなに長い年月を掛けてレコーディングしたにも関わらず期待ハズレだったなんて、クレイジーにも程がある。また、このアルバムのツアーはキャンセルだろ？俺のダチ（DJアシュバ）が、奴のためにギターを演奏しに行って約3ヶ月もリハーサルをしたというのにも関わらず、アクセルの奴は1度も現れなかったらしいな。ルールその1、姿を見せろ！」とアクセルのレコーディングに対する態度を痛烈に批判し、「こんなことをし続けていたら、ファンがどんどん去って行く。奴（アクセル）はずっとこんな状態だ。それでも付いてきているファンだって“いい加減にしろ！もうやってられねーよ！”って、心では思っていると思うぜ。肝心のバンドのライブを見られないなら、ファンではいられないぜ」とも語っている。ニルヴァーナのカート・コバーンとは対立関係にあったが、元々はアクセルはニルヴァーナのファンであり、ガンズのツアーのサポートをニルヴァーナに頼んだことさえある。だが、ヘアメタルなどの商業的な作風のロックやヘヴィ・メタルを嫌っていたカートはその依頼を拒否し、その後メディアに向けてガンズやアクセルに対する批判をぶつける様になり、両者の対立関係が生まれた。また、同い年生まれのボン・ジョヴィのボーカリスト、ジョン・ボン・ジョヴィとも長くに渡り確執が続いていた。ジョンも数年前のインタビューで、13年間もレコードを出していないことを批判し、自身のキャリアには遠く及ばないと発言した。しかし、こうした2人の状況はアクセルの親友で、同じくジョンを最も嫌っていたセバスチャン・バックによって修復へと向かう。2006年に、ロンドンのバーでアクセルとワインを飲んでいたセバスチャンは、偶然にもそこにジョンがいることを発見する。この2人も昔、楽曲の版権問題でお互いを激しく中傷しあった間柄である。しかし、セバスチャンはジョンへと近づき、笑顔で久しぶりに挨拶をしたのである。驚いたジョンだったが、アクセルもその輪へと加わり、飲み会を始めたのである。ジョンはワインを2人に何本も振る舞い、アクセルもジョンのビジネスの才覚に興味を持ち、いろいろと質問し3人で談笑したのだという。2012年　映画「ロック・オブ・エイジズ」で主演のトム・クルーズに演技指導を行った。