20 мая 1918 года был принят в члены Коллегии ВЧК, а вскоре возглавил отдел ВЧК по борьбе с контрреволюцией. Летом 1918 года временно заменял Ф. Дзержинского на посту председателя ВЧК. Вместе с Дзержинским и В. Александровичем входил в первую «тройку». Когда возникли первые конфликты ВКП(б) с левыми эсерами, стал настаивать на их выводе из коллегии ВЧК. В июле 1918 года вместе с командиром красных латышских стрелков И. И. Вацетисом руководил подавлением левоэсеровского мятежа в Москве.