Po upadku rządu José Girala, 4 września 1936, już podczas wojny domowej Largo Caballero został mianowany premierem i ministrem wojny. Za wszelką cenę chciał utrzymać dyscyplinę w wojsku oraz zachować faktyczną władzę nad terytoriami zajmowanymi przez wojska republikańskie. Jednak jego rządy są bardzo trudne: sytuacja na frontach przybiera niekorzystny dla republikanów obrót, w Barcelonie wybucha zainicjowane przez Robotniczą Partię Marksistowskiej Unifikacji (POUM) i CNT powstanie, jednostki policji próbują zając budynek operatora telefonicznego "Telefónica" a sam Largo Caballero odmawia podpisania (na co naciskał rezydent NKWD w Hiszpanii, doradca rządu republikańskiego do spraw bezpieczeństwa Aleksandr Orłow) delegalizacji POUM. W konsekwencji Orłow wykorzystując Prieto socjalistów i komunistów z PCE, wymusił dymisję Caballero, którego następcą został Juan Negrín. O ile Caballero był autentycznym przywódcą robotniczym opartym o struktury partii socjalistycznej, o tyle Negrin był marionetką w rękach Komunistycznej Partii Hiszpanii i rezydentury NKWD.