Saksa hyökkäsi Neuvostoliittoon heinäkuussa 1941. Se eteni Ukrainaan, jossa Kovpak johti partisaaniyksiköitä, jotka kävivät rintaman takaista taistelua miehittäjiä vastaan aiheuttaen saksalaisille raskaita tappioita. Kovpak oli neuvokas sissitaktikko ja hänestä tuli elävä legenda Neuvostoliitossa jo sodan aikana. Hänet palkittiin kahdesti Neuvostoliiton sankarin arvolla ja vuonna 1943 hänet ylennettiin kenraaliluutnantiksi.