Prins Jerome Napoleon , hvarsimpopularitet