Durante la ocupación alemana de Francia, organizó a partir de 1940 varios grupos armados de resistencia en la región de París por cuenta del Partido Comunista Francés. Estos grupos se unieron a la organización resistente Francotiradores y Partisanos en 1942, de la que Rol-Tanguy pasó a ser uno de los responsables militares. En 1943, fue uno de los jefes militares de las Fuerzas Francesas del Interior; como tal inició la insurrección del área de París el 19 de agosto de 1944, adoptando el seudónimo de "Rol", en recuerdo de su compañero brigadista Theo Rol, muerto en la guerra de España. El 25 de agosto de 1944, con la ayuda de las tropas del General Leclerc, el coronel Rol-Tanguy recibió la rendición sin condiciones de las fuerzas alemanas de París del general Dietrich von Choltitz.