Los grandes enemigos que Isabel hizo en la Corte austriaca la llamaban despectivamente «la niña húngara» y no por el amor que su madre profesaba por tal país, sino porque creían que la niña era fruto en realidad de algún escarceo sexual que Isabel habría mantenido con el conde húngaro Gyula Andrássy.