Duffoy vant en olympisk sølvmedalje i skyting under OL 1900 i Paris. Han var med på det franske laget som kom på andreplass i lagskyting 50 meter armépistol bak Sveits. De andre på laget var Jules Trinité, Maurice Lecoq, Léon Moreaux og Achille Paroche.