Mot slutten av 1800-tallet kom Charlemont tilbake til Frankrike og startet «Société des Boxeurs Français», det første selskapet for fransk boksing. I sin rolle som idrettsleder og aktiv bokser hadde han ved 1900-tallets begynnelse skapt en selvforsvarssport med over 100.000 utøvere av det som tidligere hadde vært et voldsverktøy for bøller og gangstere.