今川家のお家騒動である花倉の乱の際には、栴岳承芳（今川義元）派を支持したという。永禄3年（1560年）の桶狭間の戦いを契機に今川領国では動揺が起こり、駿河の国人は今川氏から離れていくものも居た。一方富士氏は今川方に留まり、永禄4年（1561年）7月には今川氏真より大宮城城代に任命されている。今川氏と同盟関係にあった武田氏が同盟を破棄し今川領国への侵攻を開始すると（駿河侵攻）、武田勢は富士氏が城主を務める大宮城を攻撃するようになる。富士氏は今川氏真を庇護した北条氏の支援を受けつつ武田方に抵抗し、永禄11年（1568年）に北条氏政は富士信忠に判物を発布している。また永禄12年（1569年）には北条氏康により信忠宛ての文書が発布されるなど、後北条氏と関係を密にしていた。その後も後北条氏は富士氏の軍功を賞するなどしているが、永禄12年6月の武田信玄本隊による攻撃により大宮城は開城した。その後も信忠は北条方に留まり続け北条方の蒲原城において武田勢と交戦し、北条氏は富士上方（現在の静岡県富士宮市一帯）の支配権を認める書簡を信忠に送るなどしている。元亀2年（1571年）に今川氏真により暇を与える旨の判物が嫡子である信通に発給されると、富士氏は今川・北条勢から離れることとなる。以後富士氏は武田氏に帰属し、元亀3年（1572年）に信忠は甲府へ出仕している。大宮城代には武田家臣の原昌胤が任じられ、富士郡支配は昌胤や市川昌房が務めた。
東京以外の他地域にも、同じ意味を持つ「山の手」「山手」の地名が存在する。横浜市中区に「山手」の地名が存在する。横浜港側の関内地域を「山下」、丘陵地側の高台を「山手」と呼んだ。ともに外国人居留地があった。詳しくは「山手 (横浜市)」、「山下町 (横浜市)」および「関内」を参照。大阪市では、上町台地の上に位置する天王寺区、阿倍野区、住吉区が「山の手」に該当する。同地区を通る阪和線も、国有化以前の南海鉄道時代の名称は「山手線」だった。神戸市においては、六甲山南麓の地区を「山の手」と称する。神戸市中央区には「中山手通」「下山手通」の地名があるほか、山手幹線と称する幹線道路もある。鉄道関係でも、神戸市営地下鉄山手線、JR西日本甲南山手駅がある。
東京においては歴史的に、江戸時代前期の御府内（江戸の市域 = 朱引、もしくは大江戸）において、江戸城の近辺とその西側の高台の山の手台地を幕臣などの居住地帯として開発した。江戸時代中期以降は、江戸の人口増加によって土地が不足し、下町の本所などにも武家屋敷が造成されるようになり、町人との住み分けは曖昧になっていった。その一方で、山の手と呼ばれる赤坂や麹町や麻布にも町人町が広がっており、一口に江戸市街、特に山の手といっても、複雑な形相を示していることが特徴である。山の手の代表的な地域は、麹町・芝・麻布・赤坂・四谷・牛込・小石川・本郷であり、地理的には武蔵野台地の東端にあたる。これは明治時代に制定された旧東京市内東京15区の、麹町区・芝区・麻布区・赤坂区・四谷区・牛込区・小石川区・本郷区に相当する。日本の近代化とともに山の手は西へと広がり、「第二山の手」と呼ばれる一帯が形成されていき、近代日本のはしりともなった。大正時代に入ると関東大震災を契機に、山の手はさらに東京西部へと広がりを見せることになった。「山の手」はその後も変質を重ねており、現在の東京23区西部（城南地域・城西地域）にまで範囲が広がったため、漠然としたイメージとしての言葉になり、地域としての境界が曖昧になっている傾向も見られる。なお、東京における市街地としての「山の手」の成り立ちや下町との関係については、東京市街の変遷も参照。
丹沢学舎（神奈川県足柄上郡松田町寄）がある。初等科4年生は校外学習で丹沢を訪れる。また、中等科1年生の4月末に行われるオリエンテーションの際も使われる。夏休みには各部活動の合宿に使われ、合宿には中3以上が参加できる。
延享3年（1746年） 、元旗本・豊島俊暠の子として甲斐甲府で生まれた。児玉南柯は桓武平氏の一族秩父氏の後裔豊島氏の一族で三河刈谷藩士であった。祖父は大奥御年寄の絵島の弟の豊島常慶。江島生島事件の際に絵島と連座して、祖父の豊島常慶と父の豊島俊暠は甲斐に流刑となった。宝暦7年（1757年）、11歳のとき、武蔵の岩槻藩士・児玉親繁の養子となり、宝暦12年（1762年）、16歳で岩槻藩（大岡家）第2代藩主大岡忠喜の中小姓となり、江戸の藩邸に勤める。1772年、26歳のとき、藩主大岡忠喜の薦めで昌平黌（のちに昌平坂学問所と改名）で向井一郎太に儒学などを学び、藩主の側用人になる。安永4年（1775年）、大岡忠喜の嫡男忠要（のちの岩槻藩第3代藩主）の侍読相手を務める。安永7年（1778年）、房州夷郡奉行に就任し、岩槻藩の飛地である安房国朝夷郡で清国の商船の漂流を助けて、児玉南柯はその事を『漂客紀事』に書いたという。また岩槻藩が財政難の時、藩命で勝手向取締役に任じられ、財政再建に貢献した。天明8年（1786年）、前任者の公金横領事件が発覚し、その責任を負われたため職を辞して隠居した。隠居後は藩主の侍読相手を務め、寛政11年（1799年）、私塾の遷喬館（のちに藩校となる）を創設し、岩槻藩の子弟教育に努めた。文化8年（1811年）、岩槻藩（大岡家）第5代藩主大岡忠正により「勤学所」と改名して藩校となり、武芸稽古場が隣に建てられ、文武両道に長ける人格形成を目指す、児玉南柯の意志が実現された。後世に「岩槻に過ぎたるものが２つある 児玉南珂と時の鐘」と評された。文政13年（1830年）に死去。享年84。戒名は「南柯斎槐誉一夢居士」