画塾・写山楼には多くの弟子が入門し、渡辺崋山・立原杏所などのちの大家を輩出した。写山楼の名の由来は、下谷二長町に位置し、楼上からの富士山の眺望が良かったことによる。なお、この写山楼は2階建て・20畳であった。弟子に対して常に写生と古画の模写の大切さを説き、沈南蘋の模写を中心に講義が行われた。しかし、狩野派のような粉本主義・形式主義に陥ることなく、弟子の個性や主体性を尊重する教育姿勢だった。弟子思いの師として有名であるが、権威主義的であるとの批判も残される。定信の隠居後、文晁は長年の功績により恩給を受け、格式は奥詰のまま写山楼にて画業に専念した。妻の谷幹々（林氏）、妹の舜媖・紅藍らも女流画家として知られる。実弟の島田元旦も画を得意としており、養子谷文一、実子谷文二も画技に優れ、谷一門は隆盛した。しかし、後継者と目された文一、文二がともに夭折したため、写山楼はその後は零落した。
文晁は自他共に認める旅好きで、30歳になるまで日本全国をさかんに旅し、行ったことのない国は4、5か国に過ぎなかったという。旅の途次に各地の山を写生し、名著『日本名山図絵』として刊行した。文化9年（1812年）に著した『日本名山図会』は、日本の代表的山岳89座の風景を90葉の画で表したものであり、当時広く親しまれ、後世の山の見方に影響を与えたという。山岳の中では最も富士山を好み、富士峰図・芙蓉図などの名品を多数遺している。
臼杵氏は豊後国大友氏の庶流戸次氏の流れを汲み、大友氏の一族に当たる。初めは大友義鑑に仕え、元服の際には兄の鑑栄、鑑続同様、義鑑から偏諱（｢鑑｣の字）を賜った上、父・長景からも一字をもらい鑑景（あきかげ）と名乗る。後に鑑速に改名した。義鑑亡き後はその子・義鎮（宗麟）に仕え、次兄の鑑続と共に外交面で大いに活躍した。義鎮の元服の際の室町幕府将軍・足利義晴の一字拝領、豊前国や筑前国を初めとする守護職の継承などといった幕府との交渉、また安芸国の毛利氏といった近隣諸国、さらに影響下にある国人達との交渉などは、吉岡長増と鑑速が行なっている。長増没後は薩摩国の島津氏と単独交渉している。また、軍事面においても、肥後国の菊池氏や毛利氏との合戦にも積極的に従軍して武功を挙げる等活躍した。天文19年（1550年）7月、肥後菊池義武に対して竹迫・宇土・下陣・片志多攻略に参戦した。弘治年間より兄の後を受けて加判衆を務め、兄の職であった豊前方分、筑前方分を受け継いだ。また、戸次鑑連（立花道雪）や吉弘鑑理と共に大友氏の「三老」にまで列せられた。弘治3年（1557年）7月の秋月文種の攻略戦、永禄3年（1560年）8月16日以降、筑前の豪族宗像氏貞に対して許斐山城、白山城、蔦ヶ嶽城に数度の侵攻、永禄10年（1567年）7月の高橋鑑種と秋月種実討伐、永禄11年（1568年）4月の立花鑑載らの謀反鎮圧、肥前国の龍造寺隆信、筑紫広門などの諸国人の討伐や、北九州に侵攻した毛利軍との門司城の戦い、永禄12年（1569年）5月の多々良浜の戦いなど、大友氏における主要な合戦の大半に出陣して武功を挙げた三大将の一人となる。永禄4年（1561年）8月、大友義鎮は再び門司城の攻略を命じる。こうして吉岡長増・臼杵鑑速の二家老と田原親宏・志賀親度・朽網鑑康・吉弘鎮信・戸次鑑連・田北鑑生ら六国衆は1万5千余の兵を率いて豊後の大友館を出陣し、再び門司城を包囲した。10月26日、大友軍の再度の門司城総攻撃。和布刈神社の裏手から門司山麓に迫った大友軍は、臼杵、田原、戸次、斎藤、吉弘という大陣容で攻め、臼杵鑑速や田原親賢らの鉄砲隊数百と戸次鑑連の弓箭隊8百と連携して小早川隆景勢に射ち込み大損害を与えたという。 しかし、城を落とすことは出来ず日没となり、大友軍は大里まで引き上げた。晩年には嫡男の統景に役目を譲り引退した。鑑速の存命中は宗麟の義弟・田原親賢も勝手な振る舞いはできなかったが、天正6年（1578年）の耳川の戦いにおける大友軍の大敗後、立花道雪は筑前から手紙を送り「吉岡宗歓、臼杵鑑速の死後、大友の政治は無道でしかない」と嘆いている。また江戸期の豊後の三賢人三浦梅園は「臼杵鑑速、吉岡宗歓がいればこんな戦いはなかったであろうに」と言っている。『高橋記』にも「才徳勇猛の良将」と賞されている。なお系図には「あきすみ」と書かれている。また、宗麟が大内氏滅亡の際に毛利元就から譲られ、後に豊臣秀吉に献上された瓢箪茶入（大内瓢箪・大友瓢箪、後の上杉瓢箪）を、一時この鑑速が貰い受け所持していた記録がある。