Parece que los rumores sobre su homosexualidad comenzaron en la corte de Bruselas, de donde provenía su esposa, la princesa Carlota Amalia.