I en alder av 15 sluttet Kosygin seg til Den røde armé i 1919 og han kjempet i den russiske borgerkrigen til 1921. Etter krigen utdannet han seg i Petrograd (som St. Petersburg het da) og var fra 1924 i 1934 i arbeid i Sibir, der han også sluttet seg til kommunistpartiet i 1927. I 1930-årene utdannet han seg videre ved Leningrad Tekstilinstitutt og han begynte som ingeniør ved Oktabrskaya tekstilfabrikk i Leningrad. Her gikk han gradene og endte opp som direktør.