しかし元禄4年(1691年)、肥前唐津藩へ移封となる。