Am 18. März 1941 wurde er Kommandeur der 10. Armee des Besonderen westlichen Militärbezirks ernannt. Zu Beginn des Großen Vaterländischen Krieges kämpfte die 10. Armee während der Kesselschlacht von Bialystok im Raum Grodno. Nach einem erfolglosen Gegenangriffs durch die mechanische Kavalleriegruppe I. W. Boldin wurde die 10. Armee am 27. Juni durch die deutsche Panzergruppe 3 eingekesselt. Beim Ausbruch aus er Umzingelung am 30. Juni geriet die Kolonne des Hauptquartiers unter deutschen Feuer und wurde zerschlagen. Golubew und mehrere hochrangige Kommandeure, darunter der spätere Marschall G. I. Kulik gelang es, sich zu einer Grenzer-Schützendivision zu entkommen, die durchbrechen konnte. Als Teil dieser kleinen Abteilung gelang es Golubew am 19. Juli aus dem Kessel in die Verteidigungszone der 21. Armee am Dnjepr zu entkommen. Am 26. Juli wurde Golubew zum Kommandeur der 13. Armee der Zentralfront ernannt, die zu dieser Zeit an der Schlacht von Smolensk teilnahm. Am 25. August wurde er aus seiner Position entfernt und zum Volksverteidigungskommissar der UdSSR abberufen. Am 29. Oktober 1941 übernahm K. D. Golubew das Kommando über die 43. Armee, die ab 10. Oktober 1942 – bei der Kalininfront und ab 10. Oktober 1943 bei der 1. Baltischen Front nach Westen operierte.