しかし端蔵は幼い頃から身体が弱く大病で臥せることも多かった。父が剣術を教えて打ち込みや撃刺を習わせると、端蔵の身体は徐々に健康になったが、薬は生涯服用していなければならなかった。そうした虚弱な体質により、徴兵もされず学業も中途半端であった斗南は自身の不孝・不忠を恥じて、自らを「廃人」に分類していた。
斗南と敦の相似.
斗南の秀でた記憶力や学力の高さは甥の中島敦にもあり、敦の同級生などの第三者の証言にも彼の非凡な記憶力や優秀さが述懐されている。親戚の間でも敦が一番の秀才であると認知され、従兄の塚本盛彦によれば、敦自身「忘れるということがわからない」と語っていたという。
斗南は子供の頃から身体があまり丈夫でなかったが、敦も小学校の頃は体操の時間は教室で休んでいることが多かったともいわれている。また、第一高等学校時代に大連で肋膜炎に罹って以来、その後もずっと喘息の持病に悩まされるようになった。
やかましいため「やかまの伯父」と呼ばれていた斗南は、話し方が早口で、自分が言ったことを相手から聞き返されるのが大嫌いだったと作中で描かれているが、敦自身もその傾向があったらしく、異母妹の澄子の証言によると、「（兄は）会話をしていても相手が受け答えにもたもたしていると、すぐかんしゃくを起し、一度言ったことを二度言わせたり聞き返したりすると、ひとく怒った」という。
作中にもあるように、敦は特に高等学校時代などは自己嫌悪的に斗南を見ていたが、斗南の方では敦を甥の中で一番気に入り、何かと目をかけて敦の才能を最も買っていたため、新聞なども敦だけにしか読誦させなかった（斗南は、新聞は声に出して読むものと決めていた）。敦がまだ幼かった頃には、敦の生母・チヨが田人と復縁したいと申し入れてきた時に、斗南が大反対したという。
斗南はエキセントリックな性格で気に入らない人間を容赦なく罵ったり、社会を批判したりしながら国の行く末を憂い、国際的な外交問題に一生を捧げてあちこち彷徨した落ち着かない人生だったが、彷徨癖は敦にもあった。敦は学生時代や結婚後も多くの転居を繰り返し、持病がありながらも多くの旅行を頻繁に行っていた。