Filho de camponeses, Rotmistrov juntou-se ao Exército Vermelho em 1919, e serviu durante a Guerra Civil Russa, durante a qual esteve envolvido na repressão da Rebelião de Kronstadt e na Guerra Soviético-Polonesa. Ele comandou um pelotão e mais tarde uma companhia de fuzileiros no 31º Regimento de Infantaria da 11ª Divisão de Infantaria. Em 1928 ele entrou na Academia Militar de Frunze, e de 1937 a 1940 ele tornou-se instrutor da Academia Militar Superior de Moscou. Em maio de 1941, tornou-se chefe de gabinete do 3º Corpo Mecanizado.