Se rumoreó infundadamente que el conde Andrássy era el amante de la emperatriz Sissi de Austria-Hungría y que la hija de esta, María Valeria, no era de Francisco José, sino del conde, pero se acallaron los rumores al ver el gran parecido de esta con el emperador.