Cependant, après sa disparition, l'époque plus libérale ne tient pas à honorer la mémoire de Vaïsse, qui incarne l'autoritarisme du Second Empire, et à qui on reproche des travaux qui ont coûté cher et rejeté les classes populaires vers les anciens faubourgs. De plus, la presse s'interroge sur l'origine de sa fortune, notamment le journal satirique "La Marionnette", ce qui donne lieu à plusieurs procès entre l'éditeur du journal et les héritiers de Vaïsse. Il est révélé que le préfet était intéressé pour un seizième dans une charge d'agent de change, ce qui expliquait son enrichissement, et qu'il était « marié sans l'être » à la veuve du général Damrémont, tué en 1837 lors du siège de Constantine : pour permettre à la veuve de continuer à toucher sa pension, ils s'étaient mariés religieusement en Allemagne, ce qui fait que l'union n'avait pas de valeur légale en France.