寛永4年(1627年)、白河藩主・丹羽長重の命によって現在地である白河小峰城下大工町(現在の白河市大工町)に移転し、ほどなく常瑞寺を名乗るようになる。