福井藩
1868年（明治元年）には、大阪の舎密局で舎長を務めたが、新政府の中心人物らと福井藩の人物らとの間に軋轢が生じるようになると、新政府方で活躍していた関の存在は福井藩に疎ましく思われ始めた。身柄は福井藩士のままであった関は福井藩に呼び戻されるも応じなかったため、福井藩により捕縛され、福井に強制帰還させられ府中の兄の家に幽閉される。