Depois da queda do governo de Giral, em 4 de setembro de 1936, já em plena Guerra Civil Espanhola, foi designado chefe do Goberno e ministro da Guerra. A sua maior preocupação, além do curso da contenda, foi tentar manter a disciplina no Exército e a autoridade governamental dentro da zona republicana a qualquer preço. Porém, o descontentamento pelo curso desfavorável da guerra e os conflitos em Barcelona em maio de 1937, que levaram ao conflito entre o POUM e a CNT, por um lado, e o governo da Generalitat catalã e os comunistas, por outro, que começaram quando a policia tentou tomar o edifício da Telefónica, sob controlo da CNT, e a recusa de Largo Caballero a assinar a ilegalização do POUM sob pressão soviética, foram circunstancias utilizadas pelos socialistas leais a Indalecio Prieto, pelos comunistas do PCE e mais os republicanos de esquerda, com pleno consentimento de Manuel Azaña, como pretexto para provocar uma crise governamental e forçar a sua demissão, sendo substituído à frente do governo pelo doutor Juan Negrín, também socialista.