In mei 1983 begeleidde hij Michail Gorbatsjov op diens tour door Canada, waarbij ze bespraken dat ze allebei het communisme zouden willen veranderen. Twee weken later werd Jakovlev door toedoen van Gorbatsjov teruggeroepen naar Moskou, waar hij een belangrijke positie kreeg. Nadat Gorbatsjov in 1985 Secretaris-Generaal werd, werd Jakovlev een van zijn belangrijkste adviseurs. Jakovlev begeleidde Gorbatsjov bij diens topontmoetingen met de Amerikaanse president Ronald Reagan. In de binnenlandse politiek was hij een architect van de "glasnost", de openheid. Hij was verantwoordelijk voor wat de kranten publiceerden, en gaf ze de ruimte om te schrijven over het Molotov-Ribbentroppact en over de werkelijke toedracht van de massamoord op het Poolse officierscorps bij Katyn. Hij maakte zo de geesten rijp voor hervormingen.