Etter Stalins død i 1953 steg Kosygin videre i gradene som en trofast tilhenger av Nikita Khrusjtsjov. Han ble leder av Den sovjetiske planleggingskomite og fullt medlem av Presidiet, som Politbyrået nå ble kalt. Han var også visestatsminister med mindre avbrudd fra 1940 og frem til 1960. Etter dette ble han første visestatsminister. I 1964 ble Khrusjtsjov avsatt og Kosygin overtok hans rolle som statsminister i en ledertroika hvor Leonid Bresjnev var generalsekretær og Nikolaj Podgornyj var president. Kosygin spilte selv ingen rolle i selve avsettingen av Khrusjtsjov.