人士担心仇恨犯罪立法会使人失去其表达言论自由的权利。例如一些宗教领袖若果在所属宗教团体以外的公开场合反对同性恋者（例如表明反对同性婚姻的立场）并批评他们的行为，可能会触犯仇恨犯罪。宪法高度保障言论自由的国家如美国，一些仇恨犯罪的指控可能会违反美国宪法第一修正案中保障言论自由及宗教信仰自由的权利。