Efter magtkampen, som blev udløst af Stalins død i 1953, blev Nikita Khrusjtjov den nye leder. Den 20. marts 1959 blev Kosygin udnævnt til stillingen som formand for Gosplan, en stilling, han bestred i lidt mere end et år. Kosygin blev derefter viceformand for ministerrådet. Da Khrusjtjov blev udskiftet i 1964 blev Kosygin premierminister og Leonid Bresjnev generalsekretær i Sovjetunionens kommunistiske parti. Kosygin var sammen med Bresjnev og Nikolaj Podgornij, formanden for Sovjetunionens øverste sovjets præsidium, medlem af den nyligt dannede kollektive ledelse. Kosygin blev en af de to store magthavere indenfor det sovjetiske hierarki, den anden var Bresjnev, og var i stand til at iværksætte den fejlede økonomiske reform fra 1965, som oftest bare kaldes Kosygin-reformen. Denne reform gjorde sammen med hans mere åbne holdning til at løse problemet med Foråret i Prag i (1968) Kosygin til en af de mest liberale medlemmer af topledelsen.