Uttrykket har blitt kritisert av ulike personer og grupperinger. Pascal Bruckner, en fransk forfatter som kritiserer «multikulturalisme», hevder i en artikkel at «islamofobi» ble funnet opp for å bringe antimuslimismen som setter spørsmålstegn ved koranen og krever likestilling mellom kjønnene, til taushet. Zineb El Rhazoui hevder ultrakonservative i Vesten, av mangel på blasfemilovene i majoritetsmuslimske land, har funnet opp «islamofobi» for å hindre kritikk og fritt ordskifte, under dekke av fornærmede følelser. I Norge har Walid al-Kubaisi kritisert at uttrykket brukes som stigmatiserende skjellsord. Religionshistoriker Mattias Gardell mener derimot at det er ikke stigmatisering, men en reell «fobi» som retter seg mot islam eller muslimer i vestlige samfunn.