12歳时（弘化二年，1845年），由于主命的关系过嗣给同为儿玉家家臣的大乐助兵卫。12岁时，他也进入了汉学家吉松淳藏的私塾学习，在该处学习的门生有久坂玄瑞与高杉晋作等人，大乐源太郎于此时和久坂玄瑞成为好友。之后大乐家与山县家一同迁居吉敷郡大道村（今山口县防府市大道），就读太田稻香的学文堂，一同学习的门生有赤川晩翠、大洲铁然、青木周藏等人，此时他对于汉文的造诣更为精进。而在学文馆待了数年之后，他又到勤皇派禅师的时习馆学习，其同学有赤根武人、世良修藏、大洲铁然等人。安政二年（1855年），大乐源太郎进入的学