Iniciada la guerra, aunque no formó parte del gobierno, tuvo una gran actividad política y en el seno del propio gobierno. Se mostró contrario a la violencia revolucionaria que se desató en la zona republicana, y cuando se produjo la Matanza de la cárcel Modelo de Madrid llegó a decir: «La brutalidad de lo que aquí acaba de ocurrir significa, nada menos, que con esto hemos perdido la guerra». Tras la caída de Talavera de la Reina en septiembre de 1936, Largo Caballero se convirtió en presidente del Consejo de Ministros, siendo nombrado Prieto ministro de Marina y Aire del nuevo gobierno.