嘉永2年11月11日（1849年12月25日）、長州藩の支藩である長府藩の藩士・乃木希次（馬廻、80石）と壽子（ひさこ、「壽」とする文献もある）との三男として、江戸の長府藩上屋敷（毛利甲斐守邸跡、現・東京都港区六本木）に生まれた。希典の長兄および次兄は既に夭折していたため世嗣となる。幼名は無人（なきと）。兄たちのように夭折することなく壮健に成長して欲しい、という願いが込められている。父・希次は江戸詰の藩士であったため、無人は10歳までの間、長府藩上屋敷において生活した。この屋敷は、かつて赤穂浪士の武林隆重（武林唯七）ら10名が切腹するまでの間預けられた場所であったので、無人も赤穂浪士に親しみながら成長した。幼少時の無人は虚弱体質であり、臆病であった。友人に泣かされることも多く、無人の名にかけて「泣き人」（なきと）とあだ名された。父は、こうした無人を極めて厳しく養育した。例えば、「寒い」と不平を口にした7歳の無人に対し、「よし。寒いなら、暖かくなるようにしてやる。」と述べ、無人を井戸端に連れて行き、冷水を浴びせたという。この挿話は、昭和初期の日本における国定教科書にも記載されていた。詳しい時期は不明だが、無人は左目を負傷して失明している。その原因として、一説には、ある夏の日の朝、母の壽子が蚊帳を畳むため寝ている無人を起こそうとしたが、ぐずぐずして起きなかったので、「何をしている」とたしなめ、畳みかけた蚊帳で無人の肩を叩いた際、蚊帳の釣手の輪が無人の左目にぶつかってしまったことによるという。後年、乃木は、左目失明の原因を明らかにしたがらなかった。失明の経緯を明らかにすれば母の過失を明らかにすることになるため、母も気にするだろうから他言したくない、と述べたという。
幼名は無人（なきと）で、その後、源三と改め、頼時とも称した。さらに後、文蔵、次いで希典と名を改めた。また、出雲源氏佐々木氏の子孫と称したことから「源希典」との署名もよく用いた。号としては、静堂、秀顕、石樵および石林子を用いた。軍人として高名になった後には、「乃木大将」または「乃木将軍」と呼称される。
ある時、釈迦は、サーヴァッティー（舎衛城）のアナータピンディカ園（祇園精舎）に滞在していた。大工のパンチャカンガ（五支物主）は人を遣ってアヌルッダ（阿那律）比丘らに翌朝の食事供養を申し出る。アヌルッダは了承する。翌朝、パンチャカンガの家で食事を受けたアヌルッダに、パンチャカンガは四無量心を用いた心の解放と大心を用いた心の解放の違いを問う。アヌルッダはそれらを説明しつつ、その心の清さ・広さによって死後に生まれ変わる場所が変わってくることを指摘する。続いて比丘カッチャーナ（迦旃延）がその諸天の区別を問い、アヌルッダが答える。カッチャーナは、法悦する。
『アヌルッダ経』（アヌルッダきょう、巴: Anuruddha-sutta, アヌルッダ・スッタ）とは、パーリ仏典経蔵中部に収録されている第127経。『阿那律経』（あなりつきょう）、『有勝天経』（うしょうてんきょう）とも。類似の伝統漢訳経典としては、『中阿含経』（大正蔵26）の第79経「有勝天経」がある。比丘アヌルッダ（阿那律）が、大工の棟梁パンチャカンガ（五支物主）や、比丘カッチャーナ（迦旃延）に、仏法を説いていく。
 — 中村稔「三島由紀夫氏の思い出」三島が『仮面の告白』執筆前の1948年（昭和23年）、ある雨の日の朝、出勤途中の渋谷駅のプラットフォームで転倒して線路に落ちるという一件があった
心の中では息子の疲労状態を心配していた梓はこれを聞き、命あっての物種と観念して、「役所をやめてよい、さあ作家一本槍で行け、その代り日本一の作家になるのが絶対条件だぞ」と言った
梓は風貌が永井荷風を思わせたことから、三島から蔭で“永井荷風先生”と呼ばれていた
ちなみに、永井荷風とは夏子の家系での遠い親戚にあたる
なお、三島は自身の要件で、父親に面会する相手には、手紙で、「父は変わり者なので、無礼はご寛容下さい（大意）」と述べた事もあったという
編集者が家に来て、応接間で三島と倭文重と談笑していると、梓が廊下からそっと中の様子をうかがって仲間に入ることはなかったが、三島がベストセラーを出す頃になると、梓が応対に出るようになったという
講談社の編集者・川島勝とすっかり仲良くなった梓は、川島の家を訪問し、一緒に飲み屋に行くようになった
三島の独身時代には、複数の花嫁候補について川島に興信所のような調査を依頼したこともあり、三島が「楯の会」を結成した頃には、三島がよく出入りする渋谷のラーメン屋「元祖札幌ラーメン」と、同行者たちが誰かの調査も依頼されたという
三島が建てた大田区の邸宅の敷地内の離れ家に住んでいた頃は、三島との打ち合わせを終えた編集者・榎本昌治と川島が恒例のように飲みに立ち寄り、出版界や文壇、芸能界の情報を提供してくれるのを楽しみにしていた
またその頃は、『東京いい店うまい店』の本を手にしながら、一軒一軒看板に偽りがないかを調査するため食べ歩きをし、帰りには必ず本に○×の判定を書いていたという
映画『からっ風野郎』で主役を演じた三島が、ラストシーン（拳銃で撃たれてエスカレーターに転がり落ちる）の撮影中に頭部を強打し、脳震盪で病院に救急搬送された時、「息子の頭をどうしてくれるんだ!」と梓は激怒した
しかし映画完成後、監督の増村保造が三島邸に招待された際には、「下手な役者をあそこまできちんと使って頂いて」と増村にお礼を言ったという
増村は三島に怪我をさせて申し訳ないと思っていたのに逆に礼を言われたため、帰り道に「明治生まれの男は偉い」と梓のことを褒めていたという