州藩战败后，大乐源太郎逃回长州藩，之后在庆应元年（1865年）回应高杉晋助的下关举兵于宫市组成了忠愤队。庆应二年（1866年）时，于幼时故乡大道开设私塾「敬神堂」（别称西山书屋），到了明治二年（1869年）已教育了许多门生（其中包括了日后的内阁总理大臣寺内正毅）。
大村益次郎暗杀事件及之后.明治二年（1869年），发生大村益次郎暗杀事件，由于犯人、团绅二郎等人为大乐源太郎的门生，他因此被怀疑是主谋，遭到主君儿玉若狭下达自我幽闭的处分。在此同时，随着版籍奉还成为新任藩知事的毛利元德改