Han tilbragte 11 år af sit liv i zarens fængsler, og blev befriet i slutningen af februarrevolutionen i 1917. Dzerzjinskij blev kendt for efter oktoberrevolutionen at have grundlagt det bolsjevikiske hemmelige politi, Tjekaen, der slog hårdt ned på forsøg på kontrarevolution. Politiet blev senere kendt under andre navne i løbet af Sovjetunionens historie, bl.a. NKVD og KGB. Tjekaen er blevet beskyldt for omfattende krænkelser af menneskerettighederne, inklusive tortur og folkemord, udført under Den røde terror og Den Russiske Borgerkrig.