中等科6年生の頃、歌舞伎に夢中になり、歌舞伎座や明治座に通った。日曜日の朝、人力車で内村鑑三の家に乗りつけ、車を待たせて講義を聞いたあと、また人力車に乗って芝居小屋に行き、人を雇って取らせた良い席で一日観劇を楽しんだ。車代は義母の浩が父親の直温に見つからぬようこっそり支払っていたという。映画好きでもあった。特に怪盗映画『ジゴマ』、シュトロハイムの大作『愚なる妻』、バレエ映画『赤い靴』は何度も見るほど好きだった。お気に入りの女優はマレーネ・ディートリヒ、グレタ・ガルボ、原節子、京マチ子、高峰秀子だった。原節子との対談ではダニエル・ダリューが好きだと語っている。また、小津安二郎とは個人的に親交があったが、その戦後の映画はほとんど鑑賞していた。小津作品を「非常に画面が美しい」と評価していた。ただ、創作において直哉が映画から刺激や影響を受けることはなかったという。囲碁は打たなかったが、将棋は指した。棋士の加藤一二三によれば、筋違い角を好んだという。柔道に一家言があったようで、1964年東京オリンピック柔道競技をテレビで観戦し、無差別級決勝で神永昭夫（富士製鐵）がアントン・ヘーシンク（オランダ）に敗れた際には「（神永君は）体力の差で勝てそうもないように思った。永岡さんのような人だったらどうだっただろうか」というコメントを残している。
無宗教家で家には神棚も仏壇も置かなかった。柳宗悦からもらった木喰の薬師如来像を持っていたが、信仰の対象ではなかった。また迷信や祟りも一切信じなかった。赤城山にいた頃、散歩の途中、道端にあった石地蔵を蹴り倒したことがあった。我孫子に移ってから、慧子、直康が急逝、直哉も坐骨神経痛で寝込むなど不幸が続き、康子夫人が石地蔵を起こして供養してもらおうと提案した。だが直哉は、いずれ体は良くなる、供養して良くなったと思い込むと家の中にずるずるべったり曖昧なものが入り込むと拒否した。挨拶代わりに「失敬」をよく使った。これは「こんにちは」「いらっしゃい」「初めまして」「失礼します」「さようなら」まですべて含んだ直哉独特の挨拶だった。ただし家族には使わなかった。直哉本人は乱暴な言葉を使うこともあったが、娘たちへの言葉遣いへのしつけは厳しかった。戦後、世田谷新町の家に高橋信之助（「新しき村」会員）一家が居候していた時、五女の田鶴子が妻の知子と話して戻ってきたあと、「知子さんてほんとうに滑稽な方ね」と言ったところ、直哉は激怒。「人の細君に対して滑稽な人という言い方は無いよ。失敬だ。すぐ行って謝ってこい。」と言われたため、田鶴子は知子の部屋に行き「大変に失礼なこと申しましてごめん遊ばせ」と謝った。写真家の田村茂が直哉を撮影するため熱海の自宅へ訪問したことがあった。直哉の家の周りは農家だったので、家の中にもハエが飛び回っていた。しかし直哉は撮影中にハエが頭に止まっても気にすることはなく、平然と煙草を吸っていた。田村は直哉の頭にハエが止まった瞬間を「これだ」と思って撮影して出版した。田村によると、この写真は直哉の些細なことでは動じない性格をよく表しており、見る人に対して直哉の悠揚たる物腰を伝えたかったという。
家元の起源は古く、実質的には平安時代にすでに「歌仙正統」の御子左家が登場しているし、雅楽に関しては奈良時代に家芸として確立していた例も知られている。こうしたものは宮廷における諸行事の際の役割分担が世襲化したものである。これらは武士の台頭とともに一時は衰退することになるが、新興の武家が公家文化を受容することで自らの権威付けを図る風潮が盛んになり復活していく。一方、武家社会でも鎌倉時代から小笠原家のような故実家が成立していたが、室町時代末期から江戸時代初期にかけて武家独特の様々な家芸を伝える家が成立していく。しかし今日イメージされるような家元制度は富裕町人層によって文化人口が爆発的に増えた江戸時代中期以降のものである。「家元」という呼称自体も家元制度とほぼ同じ時代になってからのもので、宝暦7年（1757年）の馬場文耕『近世江都著聞集』が初見とされる。それに先だって元禄期には寺院の住持を出す家系のことを寺元、家元、里元などと呼んでいた。家元というシステムの根幹の一つに秘技秘伝を相伝することによる家芸の独占化があるが、これはおそらく仏教とくに密教の伝来がその発端であると考えられている。すなわち師に対して帰依しその教義を受け継いでいくという姿が、家元に入門して秘技相伝を受けるという形式の原型となったと考えられるのであり、密教の印信が様々な流派における相伝書の手本であったと言える。これは世襲であることを必要としないが、一子相伝の形をとることによって家元の正統性が強調されるようになる。また、江戸時代に官学となった朱子学系の思想的影響も受けていると指摘されることがある。師に無心に尽くすこと、家元の絶対性を是認することなど、家元による封建的・世襲支配構造などは朱子学の根幹をなす思想であり、非常に共通点が多い。社会構造が大きく変化した近代以降は、流派の再編や女性家元の登場など、家元の様態も質的な変化を遂げることになった。家元制度の特色として、家元と門人との間を名取りや師範などが介在する階層構造を取ることがあげられるが、こうした構造は熊野詣の御師－先達－檀那という階層構造や、浄土真宗本願寺教団の法主－一家衆－末寺－門徒という構造がその原型として考えられる。特に本願寺教団では法主が世襲して宗教的権威を誇り、門徒の喜捨を集め、「後生御免」という一種の免状発行権を独占したという点で家元制度に近いものとだと考えられる。