Etter utbruddet av den spanske borgerkrigen, bestemte han seg for å slutte seg til det spanske kommunistpartiet. Den 7. november 1936 ble Carrillo valgt ut til bystyremedlem for den offentlige orden i Madrids forsvarsråd, som fikk den øverste makten i den beleirede hovedstaden Madrid, etter at den spanske regjeringen forlot byen.