Carrillo wurde als engagierter Politiker, Setzer und Journalist der Zeitung "El Socialista" tätig. Zudem wurde er Ende der 1920er Jahre Mitglied der Juventud Socialista. 1934 wurde er deren Generalsekretär. Er nahm an den revolutionären Aufständen in Asturien im Oktober 1934 teil und saß dafür bis 1936 im Gefängnis. 1936 wurde er Mitglied des PCE, 1937 bereits Mitglied im Zentralkomitee der Kommunistischen Partei. Am Spanischen Bürgerkrieg nahm er als Offizier und politischer Kommissar teil, leitete die Junta zur Verteidigung Madrids gegen die Truppen General Francisco Francos vom November 1936 bis zum Januar 1937 und fuhr einen entschieden prosowjetischen Kurs.