Ayah Viollet-le-Duc adalah seorang pegawai negeri yang tinggal di Paris, sedangkan ibunya mengelola sebuah perkumpulan salon. Pamannya, Étienne-Jean Delécluze, adalah seorang pelukis yang membiayai pendidikannya. Viollet-le-Duc adalah seorang filosofis, republikan, antiklerikal, dan pemberontak. Ia turut serta bergabung dengan barikade dalam Revolusi Juli 1830 dan menolak bergabung dengan École des Beaux-Arts.