Han var rundt århundreskiftet også fekter, og deltok i de olympiske leker 1900 i Paris. Boulenger kom på tredjeplass i fekting med florett under OL 1900 i Paris. Landsmannen Émile Coste vant konkurransen og ble olympisk mester foran Henri Masson.