Largo Caballero pyrki jarruttamaan sisällissodan aikana asemaansa vahvistaneiden kommunistien vaatimuksia. Barcelonan toukokuuna tunnetut väkivaltaiset yhteenotot eri vasemmistoryhmien välillä toukokuun 1937 alussa kuitenkin horjuttivat hallitusta. Kommunistien uhatessa hallituskriisillä Largo Caballero joutui eroamaan pääministerin tehtävistä 17. toukokuuta. Hänen kohtalonsa sinetöi ulkoministeri Julio Álvarez del Vayon tekemä paljastus, jonka mukaan hän oli valtuuttanut Espanjan Pariisin-lähettilään käymään salaisia rauhanneuvotteluja kapinallisia tukeneiden Saksan ja Italian kanssa, vastoin tasavallan tärkeimmän liittolaisen Neuvostoliiton tahtoa. Anarkistit, trotskilaiset ja Largo Caballeron tukijat syrjäytettiin uudesta hallituksesta, jonka pääministeriksi tuli sosialisti Juan Negrín. Kommunistien vaikutusvalta vahvistui huomattavasti tämän jälkeen.