长的政治生涯中，作为美国共产党的总书记，他饱受美国政界的批判。霍尔的亲苏立场使得他与众多托派团体、个人（主张用革命的方式将社会主义引向世界各地）间存在矛盾。由于史密斯法案（该法案于1940年通过，规定：凡密谋要宣传暴力革命思想的人均犯有颠覆罪），社会主义工人党于1949年在明尼苏达州受到起诉。当时霍尔对政府的行为表示支持；尽管日后他承认，那是一个错误的决定。人们指责霍尔持有阶级斗争的观点，并且说他未能理解战后国家的社会经济变化。在90年代早期，不少党内人士表示不满，纷纷提出党内需要更多的公开与民主化。