享保3年（1718年）10月13日、京都の町医者原光茂と、同じく町医者原芸庵の娘との間に生まれた。出生地は三条通。原光茂は武田信玄家臣原虎胤六世孫という。幼くして昼夜学問に励み、両親は病気を心配して窘めたが、きかなかった。享保12年（1727年）伊藤東涯に章句の学を受けたという説と、享保16年（1731年）父が死去後、母の勧めで師事したとする説がある。元文2年（1737年）、医術を志して大坂や江戸に行き、原芸庵を介して青木昆陽、高野蘭亭、野呂元丈等と交わった。時に、母は大坂の兄の家に身を寄せており、家に迎えようと大坂に赴いたが、母は病に罹っていたので、これを看取った後、江戸に戻り、京都で医者となった。京都では医者として大いに名を広めたため、延享2年（1745年）唐津藩主土井利里に招聘され、肥前国唐津城に赴いた。山脇東洋に学才を惜まれ反対されたが、取り合わなかった。唐津藩主と島原藩主は年を開けて長崎奉行所を巡視することとなっており、宝暦10年（1760年）、双桂は藩主に従い長崎を訪れたが、唐人屋敷では清の商人の方言を訂正し、福済寺では書画の鑑定を行うなど高い学識を示し、翌年、これを理由に医者ではなく儒学教授として取り立てられることとなった。宝暦12年（1762年）、利里の古河藩転封に従い、下総国古河城に移った。古河時代、日光の上松是双に笙を学び、愛用の笙を海棠と名づけた。宝暦13年（1763年）京都に戻った。明和4年（1767年）春、江戸に仮寓したが、火災で焼け出され、古河に帰った。8月にも江戸に出て蛎殻町に住んだが、9月疫を病んだ。埋葬地は江戸で構わないこと、墓碑銘を旧友芥川丹邱に頼むことを子の恭胤に言い遺し、閏9月4日死去した。死の3日後、駒込吉祥寺中に葬られた。現在墓所は文京区本駒込洞泉寺。
最初の監督は金田正泰の後を受ける形で就任し、監督としては異例ともいえる背番号1番をつけた（メジャーリーグのビリー・マーチンに倣ったもの）。最初の年はライバル巨人が低迷する中、初めて本塁打王を獲得した田淵幸一らの活躍によりシーズン後半まで広島・中日と優勝を争ったが9月に脱落して3位に終わる。就任時に「走るチームにします」という抱負を語ったが、終わってみると2リーグ分裂後では当時最低となる31盗塁という皮肉な一面もあった。シーズン終了後、南海との間で江夏豊の放出を含む大型トレードを敢行した。吉田によると、監督就任時に球団は既に江夏をトレードに出す方針を固めていたが、吉田は再生を期して「結果が出なければトレードを覚悟してほしい」と本人に言い含めた上で残留させた。しかしそのシーズンの成績が振るわなかったことからトレードが決まり、その際に「人事の話はフロントから言う方がいい」という長田球団社長の意向に従って吉田は「トレードのことは知らない」と言い続け、本人に直接伝えることはなかった。この点に関して、吉田は「江夏に申し訳ないことをした。自ら伝えるべきだった」と記している。江夏はこの時の吉田のトレードに対する対応を、現場の最高位責任者が「知らなかった」ですましウソをついたことを長年恨んでいた。江夏は2017年12月22日付の私の履歴書の中で「移籍話は急に出てきたものではなかった。奔放な言動で、球団に迷惑をかけたこともあったかもしれない。75年に就任した吉田義男監督とも、ソリが合っていたとはいえない。だが一番の問題は力の衰えだったと思う。プロは成績が全てだ。自分のなかでは阪神への愛憎が渦巻いていた。人間関係にも疲れ、タイガースを出たいとも思った。半面、タイガースが俺を出すはずがない、という自負もあった。」と回想している。また江夏は1985年には阪神が優勝した際のスポーツ紙の企画で面談した時、「あのときはすまなかった」と吉田から謝罪を受けた。その後も吉田は江夏と顔を合わせる機会ごとに同趣旨の発言を行っている。吉田は攻撃力を重視する方針を取り、マイク・ラインバックとハル・ブリーデンの2人の外国人選手を獲得した。これに急成長した掛布雅之が加わり、1976年はチーム193本塁打の当時のプロ野球記録を作る。一方、江夏が抜けた投手陣は交換で獲得した江本孟紀を先発に据えると共に、山本和行と安仁屋宗八の2人を「ダブルストッパー」として抑えに起用した。これらの戦力により、終盤まで巨人と激しい優勝争いを展開し、勝率6割を超えながら最後に2ゲーム差で力尽きた。守備で衰えの見えた田淵幸一への対応を巡ってヘッドコーチの辻佳紀と対立し、辻はオフに退団した。3年目の1977年は田淵の不調や投手力の不足から勝率5割を切る（.466。当時の阪神の史上最低勝率）4位に低迷し、監督を退任した。東田正義は吉田との確執から32歳の若さで引退した。江本は引退後の著書の中で、プレーのサインに複雑なものを使わず1種類だけであったことを「阪神へ移籍して最も驚いた」点として挙げ、吉田が試合に負けても敗因や相手の戦術を分析するのではなく「単純に『相手がよく頑張ったから』としか考えていないようだった。この感覚のズレへの違和感は最後までぬぐえなかった」と記している。