De mange militære småenheter med spesielt utdannede tropper ble samlet av Felix Dzerzhinsky i starten av 1920-årene, og da VChK ble til GPU i februar 1922 var enhetene organisert i en divisionslignende struktur. Divisjonen ble kalt GPU ble allerede i desember 1923 endret til OGPU.