Rodimtsev meldte seg til Den røde hær og kjempet fra 1936 til 1937 i den spanske borgerkrigen med andre sovjetfrivillige. De kjempet sammen med andre internasjonale styrker for å støtte den lovlig valgte republikanske regjering mot Francisco Franco og fascistene. For sin innsats ble han første gang belønnet med æresbevisningen Sovjetunionens helt.