Khi Chiến tranh thế giới thứ nhất bùng nổ năm 1914, Rokossovsky đã gia nhập quân đội của Đế quốc Nga và phục vụ trong lực lượng kỵ binh. Ngay sau khi Cách mạng tháng Mười thành công năm 1917, ông gia nhập Đảng Bolshevik và Hồng quân. Trong Nội chiến Nga (1918), Rokossovsky được thăng chức chỉ huy và nhận nhiệm vụ chống lại quân Bạch vệ của tướng Aleksandr Kolchak rồi nhận được huân chương vì chiến đấu dũng cảm. Năm 1920, Rokossovsky tiếp tục tham gia Chiến tranh Nga - Ba Lan chống lại đồng bào Ba Lan của mình.