Nach dem Sieg von Stalingrad wurde Krylow im Mai 1943 Oberbefehlshaber der 3. Reservearmee und im Juli Kommandeur der 21. Armee der Westfront. Am 9. September 1943 beförderte man ihn zum Generalleutnant und setzte ihn im Oktober 1943 als Oberbefehlshaber der 5. Armee, die später an die 3. Weißrussische Front übergeben wurde, ein. An der Spitze dieser Armee zeigten sich Krylows Führungsqualitäten. Im Zuge der Belorussischen Operation 1944 stießen Teile der Armee erfolgreich nach Witebsk, Orscha und Minsk vor, stürmten Vilnius und schlugen die Wehrmacht um Kaunas. Für diese Leistungen wurde Krylow am 15. Juli 1944 der Titel „Held der Sowjetunion“ und der Dienstgrad des Generaloberst verliehen. Aufgrund seiner alten Verletzung lag er Ende 1944 zwei Monate in einem Moskauer Krankenhaus und kehrte dann auf den Posten des Oberbefehlshabers zurück und übernahm das Kommando bei der Schlacht um Ostpreußen. Für auch diese erfolgreiche Operation wurde ihm zum zweiten Mal der Titel „Held der Sowjetunion“ verliehen.