本帝国政府宣佈非法的情况下成立，1923年便被有关单位检举，而于1924年解体。1926年再成立，并且主张社会主义与民主主义的二阶段革命，目标为「废除绝对天皇制」与「实现国民主权」。1928年3月15日，发生三一五事件，日共再度被取缔，不少重要领导人如德田球一等都被逮捕，而于1935年再度解体；直到1945年二战结束后才宣告合法化，并重建党组织。
战后.1946年，日本共产党首次投入选举，便取得5席日本众议院议员。到1949年的众议院选举，日共一度成长到39席；但是由于日共主张武装