しかし、天明6年(1786年)9月5日、実父・意次の失脚により、養子縁組を解消されて田沼家に戻された。