Nach dem Beginn des Unternehmens Blau erlebten die 4. Armee und die ganze Heeresgruppe Mitte keine größeren Kämpfe, weil die meisten Truppen im Süden konzentriert worden waren. Als jedoch die Heeresgruppe Mitte seit 1943 auf der ganzen Linie im Rückzug begriffen war, musste auch die 4. Armee ihre Truppen zurückverlegen und stand den Herbst und Winter 1943/44 über in ständigen Abwehrkämpfen an bzw. nahe der Pantherstellung am Dnjepr bei Orscha („Rollbahnschlachten“). Während des Rückzuges und den folgenden Monaten griff die sowjetische Westfront in elf aufeinanderfolgenden Schlachten die 4. Armee an. Aufgrund von taktischen Unzulänglichkeiten seitens der Sowjets und guter Führung durch Heinrici kam es zu enormen Verlusten auf Seiten der Roten Armee. Die vergeblichen Angriffe kosteten die Rote Armee mehr als 530.000 Soldaten, die Verluste der 4. Armee beliefen sich auf „nur“ 35.000 Mann, davon 10.000 Tote und Vermisste.