火山灰に覆われた日本は、酸性土壌のため、化石が残りにくく、化石人骨の発見も少ない。かつては愛知県豊橋市で発見された「牛川人」が最も古い（約20万年前の旧人）とされていたが、2001年（平成13年）の再鑑定によって、人骨である可能性がほぼ否定されている（ナウマンゾウなどの獣骨と見られている）。今世紀初頭にこれまで化石人骨とされてきた標本の再鑑定が実施された後では、本州で発見された最古の人骨は、静岡県浜松市で発掘された浜北人（約1万4,000年前）である。比較的良好な保存状態で発見された沖縄県八重瀬町港川採石場で発見された港川人は、1万8,000年前の新人である。後期更新世か後期旧石器時代に当たる。眼窩上や眉間の隆起が発達したやや原始的で頑丈な頭と顔、小柄な体格、華奢な上半身比較的頑丈な下半身の特徴を持ち、縄文人に繋がる特徴を備えているという。なお、日本人のルーツに当たる縄文人は北方系とされ、北方ユーラシア大陸から渡ってきたと言われている。
1973年（昭和48年）、東京都府中市武蔵台の武蔵台遺跡と千葉県の三里塚55地点遺跡で刃部を研磨した磨製の斧形石器が発掘された。出土層準は約40,000 - 30,000年前の立川ローム第X層中であり、分布は列島全域に亘る。これら刃部磨製石斧は現時点で世界最古の磨製例であるが、3 - 4万年前に集中し、その後は草創期まで出現しない。しかしこれら磨製石器の出土によって、日本列島の旧石器時代の人類の生息が示される。
1904年に東京帝国大学文科大学哲学科卒業後、同大大学院に進学して実践哲学を研究するが、同年秋より文部省に招かれて普通学務局に配される。1909年に第五高等学校教授に就任する。1913年に文部省に復帰して督学官に就任、1917年には教育と教授法研究のためにアメリカ・イギリスに1年半留学、更にフランス・イタリアの教育事情を視察して帰国した。アメリカでジョン・デューイなどと意見を交わし、日本の教育行政が学校教育に偏りすぎて、社会に出た後の教育が疎かになっていると考えるようになる。それを克服するためには、社会教育の充実が必要であるとの考えを抱いて帰国した。帰国後、図書官を経て、1919年に学務局第四課課長に就任する。「社会教育」という言葉は明治期から既に存在していたが、当時の政府・文部省は、社会主義を連想させる「社会教育」という言葉を忌避して「通俗教育」という言葉を用いていた。だが、乗杉は敢えて「社会教育」という言葉に拘り、自ら初代「社会教育課長」を自称していた。乗杉は早速社会教育主事を設置し、翌年には社会教育研究会を組織するなど、社会教育の普及と「学校の社会化」に尽力した。また、社会教育には「人間の独立独歩」を必要とするという考えから、図書館こそそのための研鑽の場であり、「教育的デモクラシー」（乗杉の部下であった川本宇之介が提唱した言葉で、教育における機会均等という意味合いで用いられた）を実現する場所であると考え、田中稲城らとともに図書館の地位向上を図り、1919年に「圖書館員を專門的に養成すべしといふ事」を建議し、1921年には司書育成のための施設である図書館員教習所を設置した。だが、その設置場所を巡って帝国図書館館内に設置を望む乗杉と同館は既に蔵書も置けないほど手狭であることを理由に拒絶する館長の田中が対立し、文部省はこれを機に田中を帝国図書館館長から追ったのである。代わりに図書館についての知識の無い教育者の松本喜一が後任の館長とされた事から、日本図書館協会などから乗杉に対しても非難を浴びせられたという（なお、この時乗杉は同会の評議員であった。また、1922年には松本は乗杉の要求通り、教習所の東京美術学校から帝国図書館への移転を許可している）。1923年の関東大震災直後には、乗杉はこの惨状を歴史として残す必要があると考え、記録映画を撮らせている。同年には自身の社会教育論をまとめた『社會敎育の研究』を刊行している。乗杉はこの中で社会教育を「個人をして社會の成員たるに適應(応)する資質能力を得せしむる敎化作業」であると定義し、学校教育・家庭教育の他に一般社会の知識や道徳、文芸美術への関心向上や体力増進・生活改善のための教育が必要になると唱え、その実現のために教育行政は「学校の拡張事業」「公開講演事業」「図書館・巡回文庫」「教育観覧施設」「各種修養団体」「職業指導」「民衆娯楽の改良事業」「公衆体育」「生活改善運動」「特殊児童の保護教育」の以上10項目の充実・発展に取り組む必要があるとしている。また、日本人が国家に対しては公共犠牲を捧げる事は出来ても、社会一般に対してこれを捧げる事が出来ていないと指摘し、更に自主自立の精神に乏しい事を嘆き、個人の自立と社会共同や公共奉仕の精神を両立させてこそ、本当の意味で民族精神を発達させて国体の維持につながると主張した。これは一見すると国家主義的にも見えるが、その内実は自由主義・個人主義と公共性の両立可能な人間の育成を目指したものであった。図書館協会などでともに活躍した中田邦造は、「当時の役人としては型破りな人物」と評しだが、猛烈な仕事ぶりに省内では「油乗杉」という異名を轟かせる一方で、アメリカの影響を強く受けた乗杉の社会教育論への省内の警戒感は強まり、乗杉は孤立するようになる。1924年、学務局第4課は正式に「社会教育課」と改称され、乗杉は自称から本物の初代社会教育課長となる。だが、その直後に松江高等学校校長へと転任となり、文部省を去ることになった。さらに1928年には東京音楽学校校長に転任することとなった。晩年は音楽教育に力を注ぎ、日本教育音楽会会長、音楽会館理事長などを歴任した。