W 1939 wziął udział w wojnie zimowej, początkowo jako dowódca batalionu czołgów, później szef sztabu 35 Brygady Pancernej, wreszcie zastępca dowódcy dywizji pancernej. W maju 1941, już jako pułkownik, został szefem sztabu 3 Korpusu Zmechanizowanego i na tym stanowisku rozpoczął wojnę z III Rzeszą. Walcząc na terenie Litwy, znalazł się w okrążeniu, z którego udało mu się wyrwać wraz z grupą żołnierzy. We wrześniu 1941 objął dowództwo 9 Brygady Pancernej, na której czele brał udział w walkach pod Starą Russą, Kalininem i Klinem. Wiosną 1942 został awansowany do stopnia generała, objął dowodzenie 7 Korpusem Pancernym, który od jesieni tego roku uczestniczył w walkach pod Stalingradem. Podczas kontrofensywy radzieckiej w grudniu 1942 bronił rubieży rzeki Myszkowa, nie pozwalając wojskom niemieckim dowodzonym przez feldmarszałka Ericha von Mansteina przebić się do 6 Armii feldmarszałka Friedricha Paulusa. Pod Kurskiem obaj dowódcy znowu się spotkali. Rotmistrow dowodził wówczas 5 Gwardyjską Armią Pancerną, walczącą w składzie Frontu Stepowego gen. Iwana Koniewa. W dniach 11–12 lipca 1943 jego wojska wzięły udział w słynnym boju pancernym pod Prochorowką. W sierpniu 1943 uczestniczył w kontrnatarciu pod Charkowem, a później w dalszych walkach na Ukrainie: forsowanie Dniepru, wyzwalanie Krzywego Rogu i Kirowgradu. W styczniu 1944 u boku gen. Iwana Koniewa brał udział w operacji korsuńskiej. Miesiąc później został awansowany do stopnia marszałka wojsk pancernych.