吉田清内的长子，是名喜欢闲谈，个性谨慎厚重的人物。9岁在久保五郎左卫门的村塾学习，与后来的伊藤博文同窗。13岁时跟随父亲入江户藩邸打工补贴家用，见证了黑船来航，也学习宝藏院流枪术和柳生新阴流剑术。安政3年2月归乡，同年11月，16岁的荣太郎进入吉田松阴的松下村塾学习，其才能深得松阴喜爱。安政4年9月末奉藩命出江户，在桂小五郎任塾头的斋藤道场练兵馆学习剑术。安政5年（1858年）松阴遭到逮补，吉田为了保护亲族一门于是暂时离开老师的村塾。（关于此事，留有隔年时，吉田在江户透过位于隔壁住家的小洞向