家康が亡くなると松平忠輝は改易となり、忠輝に嫁いでいた長女の五郎八姫は離縁して実家へ戻った。