玛丽亚·特蕾西亚的墓穴中。约瑟夫得不到安慰，也无法从他妻子的死中恢复过来。他的第二次婚姻（1765年1月至1767年5月）是与巴伐利亚的玛丽亚·约瑟夫公主。随后，在1765年8月，伊莎贝拉的岳父弗朗茨一世去世，约瑟夫继承他成为神圣罗马皇帝，头衔为约瑟夫二世。1767年，玛丽亚·约瑟夫死于天花。伊莎贝拉甚至在她死前就预言他们的女儿不久也会走上这条路。1770年1月23日，他们的女儿女大公玛丽亚·特蕾西亚死于胸膜炎，享年7岁。这个损失对约瑟夫来说是巨大的。在他唯一的孩子死后，约瑟夫逐渐退出了公众生活。