Lokakuussa 1941 Golikov määrättiin 10. armeijan komentajaksi, mistä hän siirtyi helmikuussa 1942 komentamaan 4. iskuarmeijaa. Huhtikuusta heinäkuuhun 1942 hän oli Brjanskin rintaman ja elokuusta syyskuuhun 1. kaartinarmeijan komentajana. Hän oli samalla lounaisrintaman apulaiskomentajana Stalingradin taistelun alkuvaiheessa. Nikita Hruštšov syytti Golikovia pelkuruudesta Stalingradissa. Lokakuusta 1942 maaliskuuhun 1943 Golikov oli Voronežin rintaman komentajana. Helmikuun alussa 1943 Golikovin Voronežin rintama ja Nikolai Vatutinin komentama lounaisrintama saartoivat pihtiliikkeellä Voronežin ja Harkovan, joista Golikovin joukot valtasivat Harkovan 16. helmikuuta. Saksalaiset käynnistivät kuitenkin pian vastahyökkäyksen ja valtasivat Harkovan takaisin 14. maaliskuuta. Tämän jälkeen Golikoville ei enää annettu komentajantehtäviä.