下総国猿島郡沓掛村（現茨城県坂東市）で、神祇官白川殿免許の大工倉持正重の六男として生まれる。本名は子之吉、通称は芳雄。幼少から画を好み、5,6歳の頃、麦の穂を一日中その場を動かず丹念に写生し、家の人が覗いてみると、色・形から粒の並びまで実物そっくりだったという。1878年（明治11年）2月上京、五姓田義松の画塾に入る。同年、工部美術学校教師アントニオ・フォンタネージに通い指導を受ける。1880年6月（明治13年）6月、初代五姓田芳柳の末娘とめと結婚、婿養子となり芳雄と称する。翌1881年（明治14年）家督を相続、五姓田家の戸主となる。前年に義松がパリに留学すると、かわりにチャールズ・ワーグマンから指導を受け、工部美術学校教師サンジョヴァンニに油彩画、カペレッティに遠近法を習う（正規に入学はしていない）。同じ明治14年の第2回内国勧業博覧会に、「飾鳥図」を出品している。1884年（明治17年）から1年ほど新潟県立新潟学校で図画教師として赴任、中学・師範・女子師範の三部を兼務する。教師を辞し帰郷後、1887年（明治20年）芳柳号を継承する芳柳は水彩画の草分け的な存在で、自身回想では明治10年代初めには既に水彩画を描いており、作品も1886年（明治19年）のものが残っている。1889年（明治22年）義兄となる義松が帰国し、共に明治美術会創立に協力、創立会員となる。1890年（明治23年）第3回博覧会には「鷺沼平九郎大蛇を屠る図」「羅漢図」を出品し、褒状を受ける。以降は明治美術会や各国博覧会にも出品した。また、パノラマ画やジオラマをしばしば手がけ、この分野の第一人者といえる。1901年（明治34年）には北清事変の一場面をパノラマ化するため、北京、天津へ調査へ赴いた。同年明治美術会は解散するが、翌年の同会主流派が太平洋画会を結成するも芳柳は参加せず、川村清雄とその門下、石原白道らと巴会を結成する（1909年（明治42年）を最後に自然消滅）。1910年（明治43年）農商務省嘱託となり渡英、日英博覧会にジオラマ「日本古代より現代に至る風俗変遷図」9題（延長60間）を制作、名誉褒状を受ける。文展開設後は作品を公表せず、種々の依嘱に応じて主として歴史画、風俗画を描くようになる。1917年（大正6年）明治神宮奉賛会嘱託となり、聖徳記念絵画館壁画下絵80題を制作。芳柳は日本赤十字社の特別社員を勤めており同社依嘱の作品も多く、1926年のフィラデルフィア万国博覧会に「関東大震災赤十字社救護活動図」を出品している。1931年（昭和6年）2-3月、上野公園内、美術協会にて個展（350点）を開いたのを期に引退、芳柳号を先代の霊前で返上する。淀橋区戸塚町（現新宿区）で病気のため逝去した。享年80。墓は港区白金三光町にある五姓田家の菩提寺・専心寺。戒名は、寿徳院柳誉哲翁居士。弟子に『工藝百科大圖鑑』（芳柳が校閲）の挿絵を描き、戦後は下妻町町長を務めた国府田範蔵や、徳永仁臣、鹿子木孟郎、満谷国四郎など。
特別な日には、通常様々な種類のお菓子を食べる。子供が産まれると、伝統的に若い両親は客にベスハウト・メット・マウシェス（Beschuit met muisjes、オランダの砂糖をまぶしたアニシードをのせたラスク）をふるまう。オランダの祝祭、シンタクラース（Sinterklaas、聖ニコラス祭、ミラのニコラオスの聖名日を祝う）は12月5日であり、ミラのニコラオスが子供の靴にプレゼントを入れるという祝祭である。この祝祭にオランダでは暖かいチョコレートミルクを飲み、スペキュラースのようなスパイス入りクッキーを食べる。この特別な菓子はミラのニコラオスの従者ズワルトピート (Zwarte Piet) が配ると言われている。ペーパーノート（Pepernoten、シナモン、コショウ、クローブ、ナツメグを混ぜたスパイスで作る生姜ナッツのようなビスケット）、ボーテルレテル（Boterletter）、バンケット（Banket、甘いアーモンドペースト (Almond paste) を焼き菓子に詰めて文字の形にする）、アルファベットチョコレート、マルチパン、ボルストプラート（Borstplaat、円盤型のフォンダン (Fondant) ）、および様々な種類のスパイス入りクッキー、ターイターイ（Taai-taai）、クラウドノーテン（Kruidnoot）やバンケットスターフ（banketstaaf）も配られる。オランダのクリスマスは典型的な家族の祝日である。伝統的に、家族で「ケルストストル」（Kerststol、フルーツ入りレーズンパンで、アーモンドペースト入りが多い）のブランチを食べる。クリスマスディナーもまた家族行事であり、ローストポーク、ジビエまたは他のごちそうの肉が供される。もう1つの典型的なオランダのクリスマス料理の伝統は「グルメ」であり、グルメセット（小型フライパンのコンロつきの小さなテーブル）を囲んで座る。各自が小さなフライパンで様々な肉、魚、エビや細切れ野菜を料理し、サラダ、果物およびソースが添えられる。大晦日には、オランダの家からはオリーボーレン、アッペルフラッペン（Appelflappen、アップルパイ）、アップルベニエ（Appelbeignets、リンゴ輪切りのフリッター）を揚げる高温の油の香りがする。酵母生地のボールは、具なしまたは果物の砂糖漬け、刻んだリンゴ、レーズンやスルタナ (Sultana) 入りで粉砂糖をふって供される、大晦日のごちそうである。オランダ人はオリーボーレンをアメリカ合衆国にも伝えたが、現在は少々異なる形でドーナッツとして知られている。リンブルフ州では大晦日にノネヴォット（Nonnevot）が供され、ほとんどが祝祭中に食される。新年には、特に北部の州でKniepertieを食べる習慣がある。誕生日には、アッペルタールト（アップルパイ）、ボケポーチェス/ボッケンポーチェス（Bokkepootjes、雄山羊の脚の意味）、ボッシェ・ボル、dikke koek、クリームケーキ、Fryske dúmkes、Gevulde koek（アーモンドペースト入りクッキー）、フローニンゲンクック、Janhagel、Ketelkoek、Kindermanstik、Krakeling、Krentenwegge（レーズンパン）、クラウドクック、リンブルフスフラーイ（Limburgse vlaai）、Ouwewijvenkoek、Peperkoek（ジンジャーブレッド）、Rijstekoek（ライスケーキ）、スペッククック（Spekkoek、インドネシア発祥）、シュプリッツ（Sprits）、トンプース (Tompouce) 、トロンメルクック（Trommelkoek、ドラムケーキ）、ビタークッキー（Bitterkoekje、マカロン）、Kletskop、ストロープワーフェルといった、様々な種類のケーキとクッキーを食べる。ポッフェルチェは小さく膨らんだパンケーキで、出来立ての上にバターを溶かし、粉砂糖をかけて特別な日に供される。これらは牛乳、チョコレートミルクやヨーグルトドリンクなどの飲み物と共に供される。オランダのカフェテリアではどこでもポッフェルチェが販売され、オランダではポッフェルチェ屋台（Poffertjeskraam）と呼ばれる。ポッフェルチェは夕食後のデザートや甘味の昼食として食される。