天武天皇13年（684年）八色の姓制定に伴い、公姓から真人姓に改姓する。持統天皇6年（692年）遣新羅使に任ぜられる（この時の冠位は直広肆）。元明朝では従四位下の位階にあって、右大弁・兵部卿・左京大夫といった京官を歴任した。和銅4年（711年）従四位上に至る。和銅5年（712年）10月20日卒去。
頼長に学館院別当に推挙されるなど、頼長に近く仕えた。『宇治拾遺物語』には頼長と以長に関する逸話がある。ある時、左大臣・頼長より召しがあった際に、以長は「今日は固い物忌を致しております」と申したところ、頼長は「これはいかに、公の職に就いているものが物忌などしている場合か、確かに参られよ」と、厳しい言葉で参るようにと以長に促したため恐る恐る参上した。その後、十日ほど経って、頼長に「世にしらぬ固き御物忌」ができた。屋敷（高陽院）の門の隙間に垣盾などを立て、仁王講を行う僧でさえ、築地から先にはお供の童子を入れず、僧侶だけが参上するほどであった。以長は「御物忌あり」と聞いて急いで参上した。土戸より入らんとすると二人の舎人がいて、「人を入れるなとの仰せです」と立ち向かった。以長は「お前ら、私は召されて参るのだぞ」と言うと、職事でいつも見ている人であったため、力及ばず中に入れてしまった。蔵人所に参上して何の気なしに声高に喋り散らす以長の声を耳にした頼長は、「喋っているのは誰だ」と平盛兼に問うと、盛兼は「以長でございます」と申した。頼長は「なぜ、これほど固い物忌だというのに、昨晩より参り籠っているのか、尋ねよ」と命じて、仰せの通り以長に尋ねると、蔵人所は頼長の居間より近いにもかかわらず大声で「くはくは」と言い、憚らずに、「過ぎし日に私が物忌をしていたところ、参るようにと命ぜられました。しかしながらと、私は物忌の由を申したところ、物忌などということがあるか、確かに参るべし、との仰せを受けたので参上致しました。それ以来、私は物忌などいうことは無いと知りました」と聞こえよがしに申したため、頼長は何も言えなくなってしまったという。
保延2年（1136年）頃からの出仕が知られ、当時の位階は六位であった。父・広房より橘氏長者を継承し、久安3年（1147年）藤原頼長の奏請により学館院別当に補任。蔵人・大膳亮・筑後守を歴任して保元2年（1157年）10月に子・以政の譲りで従五位上に叙せられた。
村山の地は登山道を中心として成り立つ。富士山修験道の開祖とされる末代上人が富士山頂に大日寺を建て富士山修験道の基礎を築いた。その後、末代の流れを汲む頼尊が村山に富士山興法寺を開き、村山が富士山修験道の拠点となり、「村山修験」が確立された。13世紀前半に富士山南麓における登山が拡大したといい、14世紀初めには修験者による組織的登山が広まった。1429年には村山に発心門が建立される。1482年（文明14年）に村山修験は聖護院本山派に属することになったとされ、聖護院と関わりが深い。『廻国雑記』によると、文明18年（1486年）に聖護院門跡の道興が村山を訪れている。またこれが村山修験と聖護院の関係を示す最初の史料である。村山修験は今川氏の庇護を受けていた。今川氏は富士山興法寺を管理する村山三坊に掟を定める文書を繰り返し発布し、富士参詣の道者の取締などを行なった。今川氏による浅間神社や富士信仰への権力的な介入は顕著であったといわれ、村山修験に対しても同様である。これは同じく富士山麓地域を支配・管理する立場であった武田氏や小山田氏と比べても特徴的であり、特に今川義元の代から顕著になったといわれる。例えば天文22年（1553年）5月25日の義元から村山三坊大鏡坊への文書の七ヶ条に「一、於村山室中、不可魚類商買、并汚穢不浄者不可出入事」とあり、村山を俗界と区別される聖地と定めていることなどは特徴的である。これらと同種の文書が今川氏により天文24年（1555年）・弘治2年（1556年）・永禄3年（1560年）・永禄10年（1566年）にそれぞれ発給されている。聖護院本山派の法親王は、慣例として度々村山に参拝を行っている。元禄年中に道尊法親王、正徳4年（1714年）に道承入道親王、宝暦7年（1757年）7月には増賞親王、文化4年（1807年）3月には盈仁法親王、天保12年（1841年）9月には雄仁法親王などの参拝が確認されている。江戸時代後期に入ると村山修験は衰退していき、神仏分離令が決定的となって事実上廃されることとなった。『駿河国新風土記』によると、江戸時代初期の段階では600戸あまりが村山に存在していたが、18世紀半ばでは70戸まで減少していたという。なお、聖護院との関係は現在も続いており、7月1日の富士山開山祭では聖護院の修験者が中心となり、村山浅間神社にて護摩焚きを行っている。