Бурни мартовски догађаји, као и напад Сила Осовине на Краљевину Југославију, априла 1941. Ранковића су затекли у Загребу, где је 8. и 10. априла, на дан уласка немачких јединица у град и проглашења усташке Независне Државе Хрватске, учествовао на заједничким седницама ЦК КП Југославије и ЦК КП Хрватске, на којима је одлучено да КПЈ настави борбу против окупатора и био формиран Војни комитет. Са задатком да окупи и организује чланове Покрајинског комитета КПЈ за Србију, Ранковић је 17. априла прешао у Београд, где је заједно са Иваном Милутиновићем, Сретеном Жујовићем, Благојем Нешковићем и Цаном Бабовић радио на консолидацији партијских организација у новонасталој ситуацији, а почетком маја 1941. у Београду му се придружио и Јосип Броз Тито. Након вести о нападу Немачке на Совјетски Савез, 22. јуна 1941. Ранковић је присуствовао седници ЦК КПЈ на којој је донета одлука да се што хитније крене са акцијама против окупатора. Пет дана касније, 27. јуна присуствовао је седници ЦК КПЈ на којој је формиран Главни штаб НОП одреда Југославије, а чији је постао члан. У вили Владислава Рибникара на Дедињу, заједно са Јосипом Брозом Титом, Ивом Лолом Рибаром, Милованом Ђиласом, Сретеном Жујовићем и Светозаром Вукмановићем, 4. јула 1941. учествовао је на седници Политбироа ЦК КПЈ на којој је донета одлука да се са саботажа и диверзија пређе на општи народни устанак и да партизански рат буде основна форма његовог развијања. Истог дана одржан је састанак Покрајинског комитета за Србију на коме је формиран Штаб НОП одреда Србије, на челу са Сретеном Жујовићем и Секретаријат Покрајинског комитета, у саставу — Благоје Нешковић, Цана Бабовић и Ранковић, док су остали чланови послати на терен.