Nach dem Bürgerkrieg diente Jakowlew weiterhin als Regimentskommandeur, aber auch als Kommissar und Befehlshaber verschiedener Schützendivisionen. In dieser Zeit erhielt er zudem weitergehende Ausbildungen. So besuchte er unter anderem 1930 die Militärpolitische Lenin-Akademie und 1934 die Frunse-Militärakademie. Im Jahr 1937 stieg Jakowlew zum Kommandeur des 19. Korps auf. Kurz darauf erreichte er auch die höchste militärische Führungsebene. Von Januar bis April 1938 befehligte er den "Weissrussischen Militärbezirk", von April 1938 bis Oktober 1939 den "Baikalischen Militärbezirk" und danach den "Kalininer Militärbezirk". Doch schon kurze Zeit später nahm er unter anderem als Befehlshaber der 7. Armee auch am Krieg gegen Finnland teil. Neben einer Beförderung zum General-Leutnant erhielt er 1940 den Posten des stellvertretenden Befehlshabers der Truppen des "Besonderen Kiewer Militärbezirkes".