Politisk tilhørte Pjatakov hele tiden venstrefløyen i partiet. Da uenighetene oppsto i kjølvannet av Lenins sykdomsperiode og død tok han standpunkt for Trotski, mot flertallet i spørsmålet om tempoet for industrialiseringen. Da Trotski sammen med Lev Kamenev og Grigory Sinovjev dannet Den Forente Opposisjonen i 1926 sluttet Pjatakov seg til denne. Han ble ekskludert av partiet i 1927, men tatt til nåde året etter, etter å ha øvd omfattende selvkritikk, og ble valgt til stedfortredende leder for tungindustrikommissariatet.