Al estallar la Operación Barbarroja, en julio-septiembre de 1941 Budionni fue Comandante en Jefe (ruso: главком, "glavkom") de las fuerzas soviéticas en los Frentes Sudoccidental y del Sur, enfrentándose a la invasión alemana de Ucrania, que comenzó en junio. Sus fuerzas fueron rodeadas en la Bolsa de Uman y luego quedaron fatalmente cercadas en la Batalla de Kiev, donde Stalin le ordenó retirarse del frente por vía aérea y dejar el mando al general Mijaíl Kirponós; en ambas batallas las tropas soviéticas fueron derrotadas sufriendo severas pérdidas. Estos desastres bélicos costaron a la Unión Soviética cerca de un millón y medio de bajas militares entre muertos y prisioneros, una de las mayores derrotas de la historia militar.