Etter at republikken tapte borgerkrigen i 1939, flyktet Caballero til Frankrike, hvor han i 1942 ble arrestert av den tyske okkupasjonsmakten og sendt til konsentrasjonsleiren Sachsenhausen. Der ble han frigjort av Den røde armé mot slutten av krigen. Han døde i eksil i Paris i 1946, da han ikke fikk anledning til å vendte tilbake til Spania under Franco. Kisten hans ble returnert til Madrid først i 1978.