Las jornadas de mayo de 1937, desencadenadas en Barcelona al intentar tomar la policía el edificio de la Telefónica, bajo control de la CNT, producen un enfrentamiento entre el PSUC, por una parte, y la CNT y el POUM, por otra. Largo Caballero se niega a firmar la ilegalización del POUM frente a presiones soviéticas. Las derrotas bélicas y el rechazo de Largo de perseguir al POUM, son utilizados por los socialistas leales a Indalecio Prieto, los comunistas del PCE, y los republicanos de izquierdas con el pleno consentimiento de Manuel Azaña como pretexto para provocar una crisis gubernamental y forzar la dimisión de Largo, siendo sustituido al frente del gobierno por el doctor Juan Negrín, también socialista. El resto de la guerra Largo Caballero protestó por el aumento de la influencia comunista en el gobierno republicano, pero se ve impotente para impedirlo al quedar relegado de toda autoridad, inclusive dentro del PSOE, por lo que se negó a asistir a las sesiones de Cortes que se celebraron a su caída, durante el gobierno de su compañero Juan Negrín.