Su papel como arquitecto ha suscitado mucha controversia y pasó del reconocimiento al más absoluto desprestigio en el siglo XIX: todavía en vida, Quatremère de Quincy ya le acusaba de haber sometido la «arquitectura a géneros de tortura» y en 1832, Victor Hugo se preguntaba: «¿Acaso hemos llegado a un extremo tal de miseria que tengamos que admirar las barreras de París?».