Do komunistické strany vstoupil po vypuknutí španělské občanské války v roce 1936. Po porážce republikánských sil uprchl do Paříže, načež strávil v exilu 38 let, především ve Francii, ale i v Sovětském svazu a jiných zemích. Roku 1960 vystřídal v čele strany Dolores Ibárruriovou. V roce 1968 odsoudil invazi vojsk Varšavské smlouvy do Československa a odpoutal stranu od Moskvy. Nová, nemoskevská politika západních komunistických stran bývá nazývána eurokomunismus. Carrillo patřil spolu s Georgesem Marchaisem (Komunistická strana Francie) a Enrico Berlinguerem (Komunistická strana Itálie) k jeho klíčovým představitelům, historicky zásadní přitom byla jejich schůzka v Madridu 2. března 1977, kde eurokomunismus získal základní obrysy.