，在1765年8月，伊莎贝拉的岳父弗朗茨一世去世，约瑟夫继承他成为神圣罗马皇帝，头衔为约瑟夫二世。1767年，玛丽亚·约瑟夫死于天花。伊莎贝拉甚至在她死前就预言他们的女儿不久也会走上这条路。1770年1月23日，他们的女儿女大公玛丽亚·特蕾西亚死于胸膜炎，享年7岁。这个损失对约瑟夫来说是巨大的。在他唯一的孩子死后，约瑟夫逐渐退出了公众生活。