藤山は早くから、社会福祉に関心を寄せていた。60歳を超えてからは社会福祉事業として、それまでの事業で得た利益を、困っている人々に積極的に投じていく考えを明らかにした。1904年以降、多くの資金を投じて、小・中学校から高校、帝国大学に至るまで、苦学生に学費を全額支給、または補助を行なった。将来有望な人材育成のための育英奨学事業を行なった。恩恵財団・済生会にも寄付を行なった。毎年の年末には、小樽の貧乏な家庭に正月のための餅を贈って励ました。その日の食事に困る人々に対しては、数十年にわたって自宅を開放して、朝食を振る舞った。この行ないは1日として欠かすことが無かったため、藤山家の門前に集まる人々は数十年間、毎朝40人を下ることがなかった。戦中の兵士慰問、災害救援、公共義援などに対しても、常に率先して多額の寄付を行なった。1910年の韓国併合で、韓国の皇太子が伊藤博文と同行して道した際には、当時の富岡町の自宅を宿泊所に提供した。1920年（大正9年）の尼港事件で、ニコラエフスクの在留日本人ら700人以上が殺害された際には、その犠牲者たちを慰めるため、多額の私財を投じ、手宮公園に慰霊塔として尼港殉難者追悼碑を建設し、清浄な霊地を作った。この事業に投じられた金額は数万円ともいわれた。この碑の建立以来、後の平成期に至るまで、小樽仏教会により追悼法要が営まれ続けている。翌1921年（大正10年）には、16歳での来道時に訪れた松前に、渡道時に松前町民たちから受けた恩恵への感謝として、同町内の荒れ果てた数百もの無縁仏の墓を改修し、手厚く葬った。1934年（昭和9年）、函館の谷地頭からの出火による函館大火で、2千人を越える死者が出た際には、海運業で函館市民から受けた恩返しとして、大森浜に慰霊塔を建て、犠牲者たちを長く供養した。
1879年以来、小樽を始めとする6郡各町の総代人に選ばれ、1899年からは小樽区会議員に選出された。また小樽商業会議所会員、同副会頭にも選ばれ、それらの分野でも優れた識見をもって尽力した。1915年の第12回衆議院議員総選挙は、その候補者に推薦された。しかしこのとき、小樽の政治団体は2派に分かれており、片方には小樽革新倶楽部と再興青年会が、もう片方には公民会があり、前者が候補者として推した金子元三郎（初代小樽区長）に対し、後者が対立候補として藤山を推したのだった。公民会の幹部らも藤山に交渉し、多くの民衆も藤山を推していたが、藤山は熟考の末にこれを断った。「政治と実業を混同してはならない、自分の本文は実業家としての天命を全うすることにある」が藤山の信念と伝えられているが、2つに分かれた小樽の政治団体の対立抗争の激化を避けたと見る向きもある。
北海道開発の促進のために金融の重要性を欠くことができないと考えていた藤山は、北海道の商業発展の上から銀行を誘致すべく、山形県鶴岡町（後の鶴岡市）の第六十七国立銀行に交渉し、1879年（明治12年）、その支店を小樽開運町に開設した。同銀行の頭取は藤山の人格を見込み、彼に万事を託して支配人とした。しかし1884年（明治17年）、支店は閉鎖を強いられた。当時はまだ小樽の経済界が幼稚なものだったためとも見られているが、藤山は自分の力が及ばなかったためとして損失をすべてかぶり、藤山両替店を開業して、業務を引き継いだ。小樽の商業が活発化すると、藤山は北海道拓殖銀行の斡旋により、樺太の泰北銀行を買収して小樽に移し、藤山家一族で経営にあたり、中小商工業者に便宜を与えた。後の1947年（昭和22年）には北海道拓殖銀行に統合されたことで、泰北銀行は藤山商事株式会社に改組され、金融、不動産、物品販売などの事業を営んだ。1897年には小樽貨物火災保険株式会社、翌1898年（明治31年）には北海道生命保険株式会社（大同生命保険の前身の一つ）を経営し、両社とも取締役として勤め、貯蓄と損害保証の性格をもった大衆的事業を手掛けた。こうした事業の拡大は、これまで北海道から受けた多大な恩恵を、北海道へ還元していこうという藤山の考えによるものだった。
『尊卑分脈』などによると、赤松氏は村上源氏・堀川大納言定房の孫の源師季に始まり、師季の子の源季房（季方とも）が播磨国佐用荘に配流され、その後裔の則景が建久年間に北条義時の婿になった縁で赤松村地頭職に補任されたことから、嗣子家範が赤松氏を称したと言われている。しかし、季房から則景まで7代もあることから、名和氏同様に信憑性に関する賛否がある。(ただし、源季房（1156年に死去）が源師季（1188年生まれ）の子というのはあり得ず、源季房は源顕房（1037-1094年）の子とも云われる。)　また、三河国作手の奥平氏は赤松氏の末裔と称した。円心は元弘の乱において、後醍醐天皇の皇子・護良親王（大塔宮）の令旨を受けていち早く挙兵し、建武政権の樹立に多大な功績を挙げたことから、建武の新政において播磨国守護職に補任された。しかし、有力な後ろ盾だった護良親王が皇位簒奪を企てたとして失脚するのに前後する形で播磨国を没収されたことから、新政から離反した足利尊氏に味方し、尊氏が一時形勢不利に陥り九州へ西下している間は新田義貞の勢力を赤穂郡の白旗城で釘付けにして、延元元年/建武3年（1336年）の湊川の戦いにおいて尊氏を勝利に導く遠因を作った。円心の三男・則祐は室町幕府2代将軍・足利義詮や管領の細川頼之を補佐し、京都が南朝方に一時占拠された際には、幼い足利義満を自身の居城に避難させて保護するなど、室町幕府の基礎固めにも貢献する。その功により坂本城を守護所として播磨1国の守護に任じられると共に、室町幕府では京極氏・一色氏・山名氏と並ぶ四職家の1つとなって幕政に参画した。円心の長男・範資には摂津国、次男の貞範には美作国、三男の則祐には備前国の守護職が与えられ、合わせて4ヶ国の守護となる。但し、摂津守護は範資の子・光範の代に召し上げられ、以後、範資の系統は庶流となり七条赤松家を称した。七条家は後裔の赤松義村が赤松政則の後継となり、宗家への復帰を果たすこととなる。