梓は三島が3歳の頃、普段夏子の部屋で女の子のように育てられている我が子を心配して蒸気機関車を間近に見せてやろうと新宿に連れて行った。抱き上げた息子の顔面をソフト帽でかばいながら、焼けボックイの柵のところで機関車すれすれまで近づき、「こわいか、大丈夫だよ、泣いたら弱虫でドブに捨ててしまうよ」と脅かしスパルタ教育を施したが、幼い三島は能面のように全く無反応であったという。梓は息子を男らしく育てようと意気込み、三島が猫を膝に乗せて可愛がったりする光景も男らくしない癪にさわる行為と映り、その愛猫を思い切って捨てた。しかし、三島はどこからか代わりの猫をすぐに探してきて、また可愛がって飼っていた。そんなことの繰り返しの末、今度、梓は猫の餌に鉄粉を混ぜ、死なせようとした。しかし猫は衰弱するどころか、かえって元気になっていったという。幼い三島はよく隣の塀の節穴を覗きに行っていた。気になった梓があとでそこを覗いてみると、三島と同年輩のわんぱくな男の子たちが野球や相撲をして遊んでいた。梓はそれをきっかけに、家の中で三島の相撲遊びの相手をしてやるようになった。三島が有名作家になった後、梓は三島との雑談中にこの思い出に触れ、幼年時代の別世界への羨望や悲哀が「お前の文学の小函に流れ込んでいるはずだ」と言ったら、三島は、「まったくその通りで、生れ落ちてからのすべてのものが僕の文学の小函には入っております。然し自分はもう一つ、別に秘密の小函を作っている」と答え、出来上がった作品が『憂国』だったという。梓は農商務省の官僚時代に、鮎の養殖場の件など、大蔵省官僚に予算の折衝で何度も横柄な態度に出られ、大名と乞食のようなやり取りで悔しい思いを経験した。そのため仇討ちとして長男の三島を大蔵省に入省させたかった梓は、息子を叱咤激励し勉学に勤しませた。学校の成績はいいのに、実業とはいえない軟弱な文学に熱中する息子の姿を苦々しく思い、日頃から叱っていた梓は、大阪の単身赴任中にも、息子の将来のことを案ずる手紙を書いて牽制していた。文学はしばらくおやすみにして、幸ひいい頭なのだから、その頭を物理とか機械とか化学とかいふ方面に使つて見る決心はつかないか。そして文学に向ける精進をこの方面にウント突込んで行つたら相当のものになれると思ふ。充分考へてみよ。坊やの現状は陰ながら、お父チヤマもお母チヤマも泣かんばかりに心配してゐるのだ。転向の決心はつかぬか？　転換期日本の立派な少年として成人して行く気持ちはないか。（中略）お前の意向を書いて寄こしなさい。 — 平岡梓「伜・三島由紀夫」そして赴任先から帰京すると、相変わらず文芸活動している息子を呼び出し、「この不良少年め」と怒鳴りつけたり、執筆中の息子の部屋に突如侵入して書きかけの原稿でも構わずに破り捨て、叱り飛ばした。しかし、こんな風に暴君を気取っていた梓も、次第に大東亜戦争（太平洋戦争）の戦況が激しくなるに従い、やがて徴兵される息子の形見の小説のため、せっせと原稿用紙や製本用紙を調達していたことが看取されている。三島が使用していた原稿用紙は36種類あり、その中には、梓が天下りした日本瓦斯木炭株式会社の社報用の原稿用紙や、農林省蚕糸局にいた時に入手したと思われる日本蚕糸統制株式会社の原稿用紙があった。戦争末期には、徴兵検査に合格し召集令状を受け取った三島と一緒に、入隊先の本籍地の兵庫県へ行った。母・倭文重の風邪がうつって高熱を出していた三島は、検査で血沈を示し肺浸潤と診断され、即日帰郷の身となった。梓はその時の喜びを以下のように回想している。門を一歩踏み出るや伜の手を取るようにして一目散に駆け出しました。早いこと早いこと、実によく駆けました。どのくらいか今は覚えておりませんが相当の長距離でした。しかもその間絶えず振り向きながらです。これはいつ後から兵隊さんが追い駆けて来て「さっきのは間違いだった、取消しだ、立派な合格お目出度う」とどなってくるかもしれないので、それが恐くて恐くて仕方がなかったからです。逃げ足の早さはテレビの脱走囚にもひけをとらなかったと思います。（中略）汽車に乗るとやや落着きを取戻し、段々と喜びがこみあげてきてどうにもなりませんでした。 — 平岡梓「伜・三島由紀夫」梓は三島が東京帝国大学に入る際にも文学部の進学に猛反対し、きちんとした生活基盤を確保した上で文学を楽しめと説得して法学部に進ませた。しぶしぶ了解した三島だったが、後年このことを梓に感謝し、法学部での教育が自らの文学に論理的な基盤を与えたとしている。これは、三島文学に対する梓の唯一の貢献として知られている。戦時中は当時の軍国主義的風潮に染まりきってナチス・ドイツを賛美していた梓だったが、敗戦によって価値観が一変し、「これからは芸術家の世の中だから、やっぱり小説家になったらいい」と三島を激励するまでになった。しかし、すぐにまた、息子が高等文官試験に合格し大蔵省の官僚になることを強く希望した。三島は大蔵省の仕事と作家活動の二重生活で多忙であった。依頼された原稿の執筆で、睡眠時間は3、4時間で朝6時には起床し出勤するという状態を続けていた。文学への思いは断ちきれず、梓にどうか大蔵省を辞めて小説家で身を立てさせてほしいと繰り返し懇願したが、｢馬鹿なこと言うな。絶対許さん｣と梓は頑強に承知しなかったという。倭文重が仲を取り持とうとすると、「貴様、俺の味方をして、二人力を合わせて倅を口説くのが女房であり、母である。それを向うの味方になるということがあるかっ！｣と近所中に聞こえそうな大声で怒鳴りつけていたとされる。三島が、川端康成が重役を務める鎌倉文庫の雑誌『人間』に短編を発表していた1947年（昭和22年）頃、梓は密かに出版社を訪ねて、編集長・木村徳三に、「あなた方は、公威が若くて、ちょっと文章がうまいものだから、雛妓、半玉を可愛がるような調子でごらんになっているのじゃありませんか。あれで椎名麟三さんのようになれるものですかね。朝日新聞に載るような一人前の作家になれますか。どうお考えなのでしょうか」と尋ねたという。この父親の来社を木村は三島には報告しなかった。1946年（昭和21年）12月14日の夜遅く、三島が太宰治を囲む会に出席した帰り道、練馬から渋谷駅まで三島と一緒だった中村稔は、渋谷駅のハチ公口を出ると、そこに三島の父親が迎えに来ていたと回想している。終電車に近い時刻で、いまとなっては想像しにくいかもしれないけど、殆んど人通りがなかった。私たち三人は、現在の東急デパートの辺りをとおって、三島氏の松涛の住居まで、三島氏の父君が旧い一高の出身だ、というような話をお聞きしながら、歩いていった。それから私は駒場の寄宿舎へ帰ったわけだが、その間、まるで嫁入り前の娘みたいだなあ、と私は思っていた。何時帰るか分からない息子を寒い真冬の深夜、いつまでも駅に立って待っている父親は、私にはじつに異様にみえたのである。 — 中村稔「三島由紀夫氏の思い出」三島が『仮面の告白』執筆前の1948年（昭和23年）、ある雨の日の朝、出勤途中の渋谷駅のプラットフォームで転倒して線路に落ちるという一件があった。心の中では息子の疲労状態を心配していた梓はこれを聞き、命あっての物種と観念して、「役所をやめてよい、さあ作家一本槍で行け、その代り日本一の作家になるのが絶対条件だぞ」と言った。梓は風貌が永井荷風を思わせたことから、三島から蔭で“永井荷風先生”と呼ばれていた。ちなみに、永井荷風とは夏子の家系での遠い親戚にあたる。なお、三島は自身の要件で、父親に面会する相手には、手紙で、「父は変わり者なので、無礼はご寛容下さい（大意）」と述べた事もあったという。編集者が家に来て、応接間で三島と倭文重と談笑していると、梓が廊下からそっと中の様子をうかがって仲間に入ることはなかったが、三島がベストセラーを出す頃になると、梓が応対に出るようになったという。講談社の編集者・川島勝とすっかり仲良くなった梓は、川島の家を訪問し、一緒に飲み屋に行くようになった。三島の独身時代には、複数の花嫁候補について川島に興信所のような調査を依頼したこともあり、三島が「楯の会」を結成した頃には、三島がよく出入りする渋谷のラーメン屋「元祖札幌ラーメン」と、同行者たちが誰かの調査も依頼されたという。三島が建てた大田区の邸宅の敷地内の離れ家に住んでいた頃は、三島との打ち合わせを終えた編集者・榎本昌治と川島が恒例のように飲みに立ち寄り、出版界や文壇、芸能界の情報を提供してくれるのを楽しみにしていた。またその頃は、『東京いい店うまい店』の本を手にしながら、一軒一軒看板に偽りがないかを調査するため食べ歩きをし、帰りには必ず本に○×の判定を書いていたという。映画『からっ風野郎』で主役を演じた三島が、ラストシーン（拳銃で撃たれてエスカレーターに転がり落ちる）の撮影中に頭部を強打し、脳震盪で病院に救急搬送された時、「息子の頭をどうしてくれるんだ!」と梓は激怒した。しかし映画完成後、監督の増村保造が三島邸に招待された際には、「下手な役者をあそこまできちんと使って頂いて」と増村にお礼を言ったという。増村は三島に怪我をさせて申し訳ないと思っていたのに逆に礼を言われたため、帰り道に「明治生まれの男は偉い」と梓のことを褒めていたという。