I 1936 dro han til Spania under navnet General Walter for å delta i på den republikanske siden i den spanske borgerkrigen. General Walter kom til å bli regnet som en modig og veldig dyktig militær kommandant mens han ledet XIV internasjonale brigade og senere den 35. internasjonale divisjon under krigen. Han ble kjent for kaldblodighet og mot, og han var ofte selv til stede ved frontlinjene som han ble kjørt til i en plettfri, svart Chrysler-limousine. Mange har trodd at Karol Świerczewski var inspirasjonen for general Golz i Ernest Hemingways bok "Klokkene ringer for deg". Han var en sentral kommandant blant annet i beleiringen av Madrid, slaget ved Brunete slaget om Teruel og Aragónoffensiven.