Po agresji niemieckiej na ZSRR walczył w partyzantce radzieckiej. Na początku 1942 powrócił do okupowanego kraju. Wstąpił do Polskiej Partii Robotniczej i w maju tego roku został członkiem Komitetu Centralnego PPR, w sierpniu szefem Sztabu Głównego Gwardii Ludowej, a w listopadzie członkiem Sekretariatu KC PPR. Franciszek „Witold” Jóźwiak do warszawskiego getta przyniósł rewolwer, z którego 18 stycznia 1943 padł pierwszy strzał przeciw oddziałom niemieckim w trakcie akcji likwidacyjnej. 1 stycznia 1944 mianowany został szefem Sztabu Głównego – zastępcą naczelnego dowódcy Armii Ludowej.