Rotmistrov gia nhập Hồng quân năm 1919, và phục vụ trong Nội chiến Nga. Ông từng tham gia trấn áp Cuộc nổi dậy Kronstadt và tham chiến trong Chiến tranh Nga Xô viết - Ba Lan. Ông lần lược đảm nhiệm các chức vụ chỉ huy trung đội và sau đó là chỉ huy đại đội súng trường thuộc Trung đoàn súng trường số 31 thuộc Sư đoàn súng trường 11. Năm 1928, ông theo học tại Học viện Quân sự Frunze. Từ năm 1937 đến năm 1940, ông là giảng viên tại Học viện Quân sự Cao cấp Moskva. Tháng 5 năm 1941, ông trở thành Tham mưu trưởng Quân đoàn cơ giới 3.