La fascinación o el antagonismo que ejerció su personalidad entre sus contemporáneos hizo que se inspiraran en él para varios personajes de novela como: Des Esseintes en " A contrapelo " (1884) de Huysmans, el conde de Muzaret en "Monsieur de Phocas" (1901) de Jean Lorrain y, sobre todo, el barón de Charlus de "En busca del tiempo perdido" de Marcel Proust.