高校時代に練習試合で対戦して以来、鈴木啓示と親交が深い。その一方で、鈴木と確執のあった野茂英雄から師匠として慕われていた。かつて近鉄バファローズにおいて鈴木監督とエースだった野茂との衝突が取り沙汰されていた頃、江夏はこれについて「トレーニングに関する野茂の主張も分かるが、自らの経験から考えると鈴木の言う事も全て間違っているわけではなく、この件だけは野茂と同調できない」と自著の中で述べていた。司馬遼太郎作品を愛読し、中でも「燃えよ剣」をお気に入りとして挙げている。その理由は、刀一本で戦う新撰組と左手一本で戦う自分、更には作品の主役土方歳三の最期の地である函館と、自身が現役最期にメジャーリーグに挑戦した地であるアリゾナが妙に重なって思えたことと、登場人物のある一人の女性が非常に魅力的に思えたことだという。現在、酒は飲まない。体質的に受け付けないわけではないが、阪神時代に主治医から「今の無茶な生活を続けていれば、間違いなく数年以内に命を落とす。酒、タバコ、女、麻雀、どれかを止めろ」と言われて酒を断つことを選び、そのまま現在に至っている。ただし、どうしてもタバコだけはやめられないことを、ニュースステーションのコーナー「最後の晩餐」内で話している。1980年には歌手として『俺の詩』というレコードをリリースし、7万枚を売り上げた。
1890年（明治23年）3月9日生まれ。 生家は神戸の油商「吉金商店」で、商売に進むべく13歳のとき滋賀県立商業学校（現滋賀県立八幡商業高等学校）に入学した。二学年目三学期の途中にYMCA派遣英語教師として着任したアメリカ人、ウィリアム・メレル・ヴォーリズに出会い、 彼の人格に感化されて友人らとヴォーリズの家に同居、そこで開かれた聖書研究会（バイブルクラス）を通じてキリスト教に入信した。その年の秋に結成された滋賀県立商業学校学生YMCAの初代幹事となった。1907年（明治40年）3月に同校を卒業したが、教職の契約を解かれたヴォーリズが近江八幡に留まって伝道を続ける決心に感激し、建てられた直後の八幡基督教青年会館（八幡YMCA会館・現アンドリュース記念館）にヴォーリズと二人で同居して自給自足伝道を始めた。1908年1月に実家に戻り家業を学んだあと三井物産株式会社兵庫支店に就職した。しかし、ヴォーリズから伝道活動と本格的に始める建築事務所に加わるように誘われ、1910年1月に近江八幡に戻った。その年に一時帰国したヴォーリズは、建築学士のレスター・チェーピンを伴って10月に帰国し、年末に三人で建築設計・監理と建築材料輸入の会社「ヴォーリズ合名会社」を設立した。また主目的である伝道を行う団体を「近江ミッション」（正式和名は近江基督教伝道団、1918年からは近江基督教慈善教化財団、1934年から財団法人近江兄弟社）と名乗り、当初は村田幸一郎（三創立者の一人）、ポール・ウォーターハウス、吉田の実母柳子、同志社牧師の武田猪平、同志社の学生清水安三など数名で滋賀県各地にキリスト教伝道を始めた。1912年7月に近江ミッションは伝道出版社の湖声社を設立し、ヴォーリズ、武田猪平、村田幸一郎、吉田の連名で月刊誌「湖畔之聲」（現在も続く「湖畔の声」）を創刊した。同年秋にポール・ウォーターハウスが神学校を卒業し牧師の資格を得て、新婦ベッシーを伴って再来日したのと入れ替わりに吉田はニューヨークの聖書学院に短期留学し聖書を学んだ。修了後の1913年後半に北米YMCA同盟から委嘱されて在米日本人留学生を支援する大学巡回幹事となり各地の大学を回った。同時期に一時帰国していたヴォーリズは、両親と他に若い男女二人の参加を得て日本に戻ることになった。1914年3月にヴォーリズとその両親、吉田らが帰国し、団員を増やした近江ミッションは成長期に入り、婦人部活動、農村部伝道、とくにモーターボート、ガリラヤ丸を使った琵琶湖西岸や北岸の伝道に力を入れた。当時の社会問題であった肺結核の療養所「近江療養院」を近江八幡につくったのは1915年のことである。1916年10月、吉田は水戸を中心に伝道をする宣教師ガーネー・ビンフォードの夫人エリザベスの助手をしていた渡邊清野と結婚し、のち一男二女をもうけた。清野は婦人部活動に加わり、ウォーターハウス夫人ベッシー、村田幸一郎夫人友枝、武田猪平夫人俶による西洋的生活様式の普及や幼年期の少女会が始まった。1918年5月に結核療養所「近江療養院」を開院した際は事務長として義父の渡邊光太を招いた。1920年に滋賀県内の伝道を一段と強化する資金を確保するため、建築設計から家庭薬メンソレータム等の販売を分離し、近江セールズ株式会社を創業し、吉田は取締役となった。商売経験豊富な佐藤安太郎を採用し、数名で販売を始めた。大胆な新聞広告と拡販資材で徐々に知名度を高めて販売を伸ばし、商圏を台湾、朝鮮半島、中国大陸にも拡げた。急速なメンソレータムの販売増加は女性包装作業者の雇用を生んだが、当時家庭の事情で高等女学校相当の教育を受けられない子女が多い状況をみて、ドイツのアルバイトシューレに発想を得て、午前に学習し午後に労作をする五年制の近江勤労女学校（1935年に近江兄弟社女学校と改称）を1933年4月開校し、吉田自らが校長となった。これがこんにちの学校法人ヴォーリズ学園の中等教育の基礎となっている。また近江セールズですでにフルタイムで働いている女性にも教育機会を与えるため向上学園という教育プログラムを始めた。1937年6月に同志社の理事に就任した。当時軍部からの圧力で同志社は存亡の危機にあり、キリスト教の危機と感じて事態打開に向けた就任だった。1940年になると国の戦時体制への移行と、ヴォーリズの国籍問題が浮上していたため吉田は近江兄弟社の理事長をヴォーリズから引き継いだ。ただ新体制においては事業を続ける限り宗教との分離が必要となり、伝道と宗教的儀式を組合教会へ移管せねばならなくなった。一方、吉田は近江八幡市民に開かれた事業が少なかったことへの反省から近江兄弟社図書館を開設し、自ら図書館長となった。翌年滋賀県になかった日本図書館協会滋賀支部設立に動き、支部長となった。しかし糖尿病を患い、肺炎を併発し、1942年11月21日に52歳で世を去った。その翌日社葬が行われた。