松阴喜爱。安政4年9月末奉藩命出江户，在桂小五郎任塾头的斋藤道场练兵馆学习剑术。安政5年（1858年）松阴遭到逮补，吉田为了保护亲族一门于是暂时离开老师的村塾。（关于此事，留有隔年时，吉田在江户透过位于隔壁住家的小洞向被关的松阴告别的故事。）万延元年（1860年）10月脱藩。辗转数地之后，于文久元年8月进入幕臣旗本妻木田宫家做佣人，以收集幕府情报。 文久2年（1862年）夏，脱藩之罪得到赦免，归藩投身尊攘运动。另外，同年10月吉田也参加松阴的慰灵祭。文久3年（1863年）6月，参加高杉晋作创