明和元年(1764年)2月、桜田の藩邸に移った。