Po napadnutí Nemeckom velil 48. armáde odeského vojenského okruhu, rozmiestnenej na rieke Prut v oblasti Moldavska. Ako jeden z mála vtedajších generálov viedol Malinovskij svojich mužov z prvej línie, vlievajúc do nich svojou prítomnosťou nové sily a odvahu. V dôsledku nemeckej prevahy však museli jeho vojská ustupovať po čiernomorskom pobreží až k mestu Nikolajev, kde sa ich Nemcom najprv podarilo obkľúčiť. No Malinovského vojská sa z obkľúčenia prebojovali k vlastným líniám a ustúpili k Dnepropetrovsku.