元治元年(1864年)7月、禁門の変により元蕃は、萩藩主・敬親、その世子(元蕃の弟)元徳、長府藩主・毛利元周、清末藩主・毛利元純らと共に官位を奪われ、益田親施・福原元・国司親相の3家老は徳山に幽閉された。