Tras la invasión alemana de la Unión Soviética el 22 de junio de 1941, en la que el Ejército Rojo sufrió enormes derrotas y perdió a centenares de miles de hombres en las maniobras envolventes alemanas, Malinovski sobresalió como uno de los pocos generales soviéticos competentes. Sus unidades de tres divisiones de rifles se enfrentaron a la Blitzkrieg a lo largo del curso del río Prut. Mientras los generales del Ejército Rojo mandaban sus unidades detrás de las líneas de combate, Malinovski fue a los sectores cruciales de las batallas a estar con sus soldados e infundirles moral. Incapaz de parar a las fuerzas superiores técnica y numéricamente de la Wehrmacht, Malinovski tuvo que retirarse al Mar Negro, aunque frustró las tentativas enemigas de envolver a sus tropas. Los alemanes tuvieron éxito en rodear a sus tropas en Nikoláyev, pero Malinovski rompió el cerco y se retiró a Dnipropetrovsk (actual Dnipró).