El 25 de octubre de 1886 Duval entró a una mansión de una mujer rica en París y después de robar 15.000 francos en joyas, accidentalmente incendió el edificio al intentar quemar pruebas, además golpeó a un policía que intentó detenerlo en su huida.