Ambos tuvieron amantes; Joseph mantuvo una larga relación sentimental con una cantante de los Esterházy, Luigia Polzelli, con la que, según algunos biógrafos, tuvo uno o varios hijos.