1889年（明治22年）、大山巌・捨松夫妻の次男として東京に生まれた。「柏」の名は、出生の際に父・巌が新潟県柏崎に滞在中だったことから命名された。教育熱心かつ、幼少期の留学で英語で日常会話をしていた母親の元、早くから英語、ドイツ語の英才教育を受けた。1908年（明治41年）4月、長男の高（たかし）が海軍少尉候補生として遠洋航海中の台湾で、乗艦中だった巡洋艦松島の爆発の巻き添えとなって死亡、それまで父の親戚・鮫島家の養子となる予定であった柏が家督を相続することとなった。柏は中央幼年学校を経て、1910年（明治43年）5月、陸軍士官学校（22期）を卒業。同年12月、歩兵少尉に任官し近衛歩兵第4連隊付となる。1913年（大正2年）12月、歩兵中尉に昇進。1916年（大正5年）5月、陸士生徒隊付となり、父・巌の死を受け同年12月22日に公爵・貴族院議員（1946年4月まで在任）となる。
大軍人の家に生まれて自らもはじめは軍人の道を歩んだが、ヨーロッパ留学を機に考古学の知見を深めた。帰国後には自邸内に「史前研究会（後に大山史前学研究所）」を組織し、戦後の日本考古学の基礎を築いた。陸軍大学に勤める傍ら行っていた考古学では、関東地方の縄文文化の研究やヨーロッパ先史学の日本への紹介などでの実績がある。それまで「宝探し」の域を出なかった日本の遺跡発掘に最新ドイツの系統だった手法を導入、主に縄文時代の研究において著しい成果を上げた。特に、1926年（大正15年）から1931年（昭和6年）にかけて甲野勇らと行なった関東地方の貝塚の発掘調査では貝塚を構成する貝類や層位学的研究法による土器型式の新旧にまで留意した研究を行ない、1933年（昭和8年）に『東京湾に注ぐ主要渓谷の貝塚に於ける縄紋式石器時代の編年學的研究予報　第一編』として共同発表、関東における縄文土器の編年をほぼ完成させた。同時に当時日本には存在しないとされていた旧石器文化にも着目、『史前学雑誌　第1巻』第5・6号で「日本旧石器文化存否研究」として発表した。柏は英語とドイツ語、特に陸軍の第二外国語でもあったドイツ語に堪能で、史前学研究所が調査した遺跡の報告書の外文要約は全てドイツ語で書かれていた。
父・大山巌公爵は維新の元勲の一人で、日清・日露の両戦役では参謀総長や満州軍総司令官として国運を賭けた大勝負で日本を勝利に導き、晩年に至るまで元老の一人として国政の枢機に接した元帥陸軍大将。母・捨松は、明治初年に初の官費女子留学生の一人として11歳で渡米し、11年後に日本人女性として初めて米国大学の普通科を卒業して学士号を得た。柏はその次男。海軍に進んだ兄・高が練習船の火薬庫爆発事故で不慮の殉職を遂げたのをうけて嫡男となり、父の死去後に公爵を襲爵して貴族院議員となった（公爵議員、無所属倶楽部所属）。その一方で、父たっての願いにより陸軍に進み陸軍少佐まで進級したが、生来の学者肌の気質が陸軍の体質と馴染まず、さしたる実績も上げないまま数え40を前に依願予備役編入。以後は慶應義塾大学を研究活動の場とし、考古学と歴史学の分野に多大な貢献を残した。近衛文麿公爵の妹・武子夫人との間に、歴史学者で外交史が専門の法学博士・大山梓と海洋生物学者で貝類学が専門の理学博士・大山桂の2男がある。
1927年（昭和2年）の小田急発足当時、田園都市株式会社による現在の田園調布に代表される田園都市開発や、阪神間で行われた小林一三の宅地開発に触発される形で小田急初代社長の利光鶴松により計画された計画都市である。神奈川県高座郡大野村上鶴間（現：相模原市南区）と同郡大和村下鶴間（現大和市）にまたがる小田急江ノ島線沿線に、南林間都市駅を中心にして放射された街路を碁盤目状にめぐらし、松林の中に高級住宅を点在させて公会堂や学園（現：大和学園聖セシリア）などを建設するほか松竹の撮影所を誘致し、テニスコート・ラグビー場・ゴルフ場(現：相模カンツリー俱楽部)・野球場・相撲場などのスポーツ施設を核とした「スポーツ都市」とし、快適な林間都市生活が楽しめる豊かな住宅都市をつくり出して、東林間地区には工場を誘致し、産業都市を建設する構想であった。「林間都市」の名は、この地区に平地林が広がっていたことによる。その計画の第一段階として、相模大野から南林間までの土地を買収し、江ノ島線に東林間都市駅、中央林間都市駅、南林間都市駅（いずれも現在は駅名に「都市」がついていない）を設置した後、南林間都市駅を中心に開発と宅地の分譲を開始し、購入者には3年間の無賃乗車特典を付ける等の購入意欲を盛り上げるような販売戦略を行ったものの、当時としては都心から遠すぎたことや小田急沿線でも成城など他の宅地開発があったことから、思うように分譲が進まないうちに軍都計画の進行や太平洋戦争の勃発で林間都市構想は頓挫、1941年（昭和16年）には設置した3駅から「都市」を取り除いた。