ביולי 1926 פליקס דזרז'ינסקי נפטר ומנז'ינסקי מונה לעמוד בראש הארגון במקומו. בהיותו בראש הארגון מנז'ינסקי פעל בתקיפות למען יישום מדיניותו של יוסיף סטלין. הארגון פעל בנמרצות לחיסול מעמד הקולאקים תוך הלאמת רכוש, הגליה לאזורים מרוחקים של המדינה ומעצר במחנות עבודה. בשנת 1931 הוקמה מערכת מחנות עבודה בהם עצורים עבדו בהקמת תעלת בלומורקנאל ותעלת מוסקבה-וולגה. ניסיונות התקוממות של האיכרים דוכאו על ידי יחידות של או.ג.פ.או ביחד עם הצבא האדום. בתקופת מנז'ינסקי הארגון הפך לארגון החשוב ביותר בברית המועצות, מעמד אותו הוא החזיק עד להתפרקות המדינה בשנת 1991.