Будущая КПО представляла собой Правую оппозицию в компартии Германии. Лидерами «правых» в КПГ являлись Генрих Брандлер и Август Тальгеймер, возглавлявшие партию в 1921—1923 годах. Левой частю КПГ Брандлер и Тальгеймер подверглись критике за провал революционного выступления в ноябре 1923 года. В 1925 году их сторонники начинают издавать журнал «Против течения» (). В 1928 году они поддержали оппозицию в ВКП(б) во главе с Бухариным, Рыковым и Томским.