En esclatar la Guerra Civil ràpidament es va allistar en les Milícies republicanes, ocupant posicions en les milícies comunistes del Cinquè Regiment. A la fi de 1936 va participar en la Defensa de Madrid, on es va aconseguir detenir als militars revoltats. Allí tornà a trobar Ernest Hemingway, qui el cita pel seu nom a la seva novel·la "For Whom the Bell Tolls" (Per qui toquen les campanes?), de la mateixa manera que André Malraux va fer d'ell el Manuel García protagonista de "L'espoir" ("L'esperança"). Ja en 1937, fou comandant de la 69a Brigada Mixta i de la 47a Divisió, amb la que intervingué en les batalles de Brunete i Terol.