Do Španělska se Carrillo vrátil roku 1976, po smrti diktátora Franca. Byl sice ještě zatčen, ale jen na pár dní. Záhy byla komunistická strana legalizována a Carrillo ji vedl do prvních svobodných voleb v roce 1977. V roce 1981 proběhl pokus o státní převrat, kdy do parlamentu vtrhl podplukovník Tejero a chtěl převzít moc. Carrillovo chování během pokusu o převrat bylo předmětem obdivu, když poté, co povstalci v parlamentu přikázali všem lehnout na zem, byl mezi třemi, kteří odmítli uposlechnout (spolu s předsedou vlády Adolfo Suárezem a ministrem obrany Manuelem Gutiérrezem Melladem), Carrillo si navíc zapálil demonstrativně cigaretu. Přesto brzy poté musel z čela strany odejít, důvěru straníků získal jeho oponent Gerardo Iglesias. Spory se stupňovaly, a tak Carrillo roku 1985 z komunistické strany vystoupil a založil vlastní stranu "Partido de los Trabajadores de España-Unidad Comunista". Ve volbách však vyhořela a Carrillo se stáhl z vrcholné politiky.