下院非米活動委員会
またリチャード・ニクソンの下院非米活動委員会やジョセフ・マッカーシーによる赤狩り（マッカーシズム）は、党のイメージを著しくダウンさせることになった。1940年代後半から党員数は激減し、1950年代末には2千人程度にまで減少したといわれる。