Händelsen hände i ett soppkök i Montreuil, öster om Paris.
Mannen sa att han kunde undvika yxan men knivhöggs i magen, enligt åklagarens uttalande.
Hans tillstånd sägs inte vara allvarligt. Frankrike befinner sig fortfarande i ett undantagstillstånd sedan de attacker som islamistiska militanter gjorde anspråk på i november förra året.
Offret berättade för utredarna att angriparna skrek "Allahu Akbar", vilket betyder "Gud är störst", och kallade honom en "otrolig hund" innan han flydde.
Han är chef på Restos du Coeur, en välgörenhet som ger matpaket och varma måltider till de behövande.
Enligt Reuters utförs utredningen av kriminalpolisen snarare än antiterroristenheterna.
Sedan attackerna av den så kallade islamiska staten förra året har Frankrike varit mycket uppmärksamt.
I juni knivhöggs en polis och hans partner till döds utanför Paris av en man som gjorde anspråk på trohet mot den islamiska staten.
Polisen utreder efter att en fransk välgörenhetsarbetare sa att han blev attackerad med en kniv och en yxa av ett par som skrek "Allahu Akbar".