姓は落合、名は幾次郎。画姓は歌川。画号は一恵斎、一蕙斎、蕙斎、朝霞楼、洒落斎、蕙阿弥など。歌川国芳の門下で、月岡芳年とは兄弟弟子である。一時は浮世絵師として芳年と人気を二分する程であったが、新聞人としてまた挿絵画家として新聞の発行にもかかわった。天保4年（1833年）4月、日本堤下の編笠茶屋に生まれる。浅草田町の引手茶屋の子ともいわれる。始めは質屋に奉公していたが、子どもの時から絵を好んでおり、嘉永2年（1849年）頃、17、8歳で近所の歌川芳兼に誘われて歌川国芳に入門する。浅草諏訪町、両国米沢町、新富町、銀座、新橋滝山町、本所太平町に居住した。安政2年（1855年）、安政の大地震で妻子を失うがこの時の吉原の惨状を錦絵に描き名をあげる。安政4年（1857年）頃からは合巻、雑書などの挿絵も描いている。文久元年（1861年）国芳が没し、芳幾は遊女屋風俗などを描いて幕末から明治初期にかけての浮世絵師の第一人者のひとりとなる。なお、国芳の葬儀の際、芳幾は弟弟子の芳年を足蹴にしたといわれる。文久3年（1863年）、仮名垣魯文、山々亭有人編の『酔興奇人伝』の挿絵を描く。樋口二葉は、全盛期は文久・慶応年間であったと書いている。慶応2年（1866年）には兄弟弟子月岡芳年との無残絵の競作「英名二十八衆句」が発行されて人気を呼んだ。慶応3年（1867年）、皎々舎梅崕編の『久万那幾影（くまなきかげ）』の挿絵を描いた。その一方で、開化的なものに興味関心があり横浜絵などを描いた点は芳年とは異なっていた。しかし芳幾の関心は浮世絵にとどまらなかった。明治5年（1872年）、条野伝平、西田伝助とともに「東京日日新聞」の発起人となり明治7年（1874年）10月には錦絵版『東京日日新聞』に新聞錦絵を書き始め、錦絵新聞流行の先駆けとなる。芳幾は明治8年7月まで挿絵を担当していた。明治8年（1875年）、「平仮名絵入新聞」（のちの「東京絵入新聞」）の創刊にもかかわりこの新聞で挿絵画家としても活動。また『歌舞伎新報』の発行にもかかわり、明治12年2月の創刊当時から俳優の特徴を写実的にとらえた挿絵を描いた。明治10年（1877年）ごろからは新聞事業に傾注し、錦絵はあまり描かなくなっていく。明治20年（1887年）に春陽堂から刊行された『新作十二番之内』の口絵を描いており、これが木版口絵のはしりとされる。洒落を好み温厚であったが、新聞事業から身を引いて後の晩年は自作の張子人形に縮緬を貼って美術人形として浅草仲見世において販売をしたが売れずに終わり、不遇であった。明治37年（1904年）2月6日、本所太平町にて死去。享年72。墓所は豊島区南池袋の盛泰寺。法名は従善院芳幾日雄居士。門人に小林幾英、木村幾年、武田幾丸、泉幾勝がいる。
1989年6月8日、1ラウンドTKO勝利でプロのキャリアをスタート。1991年10月24日、元IBF世界フライ級チャンピオンのローランド・ボホール（フィリピン）に判定勝利。1991年12月12日、USBA全米バンタム級王座決定戦で、後にビクトル・ラバナレスの世界王座に挑戦するダドイ・アンデュハル（フィリピン）に9ラウンドTKOで勝利し、初のプロタイトルを獲得。1993年1月15日、WBCアメリカ大陸バンタム級王座決定戦でフアン・パブロ・サラサール（メキシコ）を2ラウンドTKOで降してタイトル獲得。1993年10月23日、WBA世界バンタム級王者ホルヘ・エリエセール・フリオ（コロンビア）に挑戦。4ラウンドにダウンを奪われるものの11ラウンドにダウンを奪い返し、3-0の判定で王者に初黒星を付け、無敗のまま世界タイトルを獲得した。1994年1月8日、元WBO、WBA世界フライ級チャンピオンのエルビス・アルバレス（コロンビア）との初防衛戦でフルラウンドを戦い、2人のジャッジがフルマークを付ける圧勝で防衛に成功。1994年4月22日、2度目の防衛戦で伏兵ジョン・マイケル・ジョンソン（アメリカ）に11ラウンドTKOで敗れて防衛失敗。かつて、プロ4戦目で判定勝利している相手に初黒星を喫し、タイトルを手放した。1994年6月12日、元WBO世界スーパーバンタム級チャンピオンのオルランド・フェルナンデスに（プエルトリコ）10ラウンド判定勝利で再起。1994年10月22日、再起2戦目で無名のダリル・ピンクニー（アメリカ）を相手にまたもや打たれもろさを露呈し、3ラウンドTKO負けで世界戦線から脱落。1996年3月23日、6連勝を経て、16度防衛のバンタム級最多連続防衛記録を持つ元IBF世界バンタム級王者オルランド・カニザレス（アメリカ）との白熱のサバイバルマッチを12ラウンド判定勝利で制する。なお、この試合はマイナータイトルのIBC世界スーパーバンタム級王座決定戦として行われた。1996年11月22日、当時43戦全勝で8連続防衛中の強打者マルコ・アントニオ・バレラ（メキシコ）のWBO世界スーパーバンタム級王座に挑戦。圧倒的不利の予想の中、第5ラウンドに強烈な右ストレートをヒットしダウンを奪うと、立ち上がったところを更にダウンを追加。これと同時にバレラ側のセコンドがリングに上がったため反則失格で勝利となったが、実質的なKOで大番狂わせを演じ、2階級制覇。1997年4月18日、王者と挑戦者との立場を入れ替えマルコ・アントニオ・バレラと再戦。前回の勝利はフロックと見られ、今回も下馬評はバレラ有利。しかし、12ラウンドを戦い抜き3-0の判定でバレラを返り討ちにし、初防衛に成功。1997年12月19日、アマチュア時代のライバルで元IBF世界スーパーバンタム級チャンピオンのケネディ・マッキニー（アメリカ）に4ラウンド逆転TKOで敗れ、2度目の防衛に失敗。1998年9月12日、WBC世界スーパーバンタム級チャンピオンのエリック・モラレス（メキシコ）に挑戦。初回から思い切り右のパンチを振って好調さが伺えたが、4ラウンドにカウンターを浴びてTKO負け。後にバレラとともに軽量級に一時代を築くことになるモラレスの出世試合とされてしまった。1999年2月17日、IBA世界スーパーフェザー級王座決定戦で元IBF世界フェザー級チャンピオンのトム・ジョンソン（アメリカ）と対戦。3-0の判定勝ちでタイトルを獲得。1999年4月10日、IBO世界フェザー級王座決定戦でリチャード・エバット（イギリス）と対戦。11ラウンドTKO勝ちでタイトルを獲得。1999年11月12日、元WBC世界スーパーバンタム級、IBF世界スーパーフェザー級チャンピオンのトレイシー・ハリス・パターソン（アメリカ）に2-0で判定勝ち。2000年4月29日、保持するIBO王座を懸け、IBF世界フェザー級王者のポール・イングル（イギリス）との王座統一戦を行い、11ラウンドTKO負け。2002年12月6日、7連敗中の無名のアイバン・アルバレス（コロンビア）に0-3の判定負け。これが最後の試合となった。引退後は、地元ブルックリンにてトレーナーとして後進の指導に当たっている。