東方芝山
蒙斎の長子として生まれる。芝山は少年時代から豪気で、他人の顔色を見て発言を慎むタイプではなく、これが後年、藩内での冷遇につながった。
幼時より父から漢学を学び、18歳で京都に出て頼山陽に学ぼうとしたが、親の反対に遭い、許されなかった。
20歳の時、金沢の儒者林蓀坡に入門して3年間儒学を学ぶ。しかし、京都遊学の志は強く残っていた。27 - 28歳の頃、足の病気にかかり歩行困難となったのを機会に、治療のため京都にのぼり蘭医の日野鼎哉に治療を受けながら、四条派の画家吉田公均の家に下宿して絵を、貫名海屋に書を、池内陶所に詩文をそれぞれ学び、後の多芸に通ずる基礎を築いた。
一方、前記の性格のために上司からの評価は芳しくなく、出世は非常に遅れ、嘉永6年(1853年)に41歳でようやく藩校の会頭助役に任官して、藩士子弟の教育を担当した。
安政3年(1856年)、父の隠居により家督を相続する。翌安政4年(1857年)、参勤により江戸に出たが、この機を利用して朱子学者の安積艮斎に入門して研究を深め、また大槻磐渓、大沼枕山、鷲津毅堂、羽倉蓬翁等と交わり、漢学、蘭学、砲術、詩文から海防に及び時局認識を深めた。