Desde muy joven fue notablemente afeminado y pronto mostró su tendencia homosexual; nunca aceptó ningún proyecto de matrimonio, el más importante de los cuales fue el que planeó su hermano Maximiliano I de México, que pretendía que contrajera matrimonio con la hija y heredera del emperador Pedro II de Brasil, la Princesa Isabel, lo que lo convertiría en emperador consorte del Brasil; sin embargo, ante el nulo interés de Luis Víctor, ni Francisco José, ni Pedro II apoyaron el proyecto.