免之后，与久坂玄瑞、高杉晋作等人一同积极推动尊皇攘夷运动。元治元年（1864年）五月，大乐源太郎在大和国暗杀了与佐幕派人士来往的画家。而在同年发生的禁门之变中，他以真木和泉、久坂玄瑞率领的浪士组书记身分参与此事。长州藩战败后，大乐源太郎逃回长州藩，之后在庆应元年（1865年）回应高杉晋助的下关举兵于宫市组成了忠愤队。庆应二年（1866年）时，于幼时故乡大道开设私塾「敬神堂」（别称西山书屋），到了明治二年（1869年）已教育了许多门生（其中包括了日后的内阁总理大臣寺内正毅）。
大村益次