Etter å ha sluttet seg til undergrunnsbevegelsen i Polen drev han kartlegging av hva som foregikk i landet. Han fungerte som kurer mellom Polen og den polske eksilregjeringen mens den befant seg i Angers, før Frankrikes kapitulasjon etter slaget om Frankrike. Han gikk på ski over Karpatene og tok seg via Ungarn og Italia til Frankrike. På en tur til Slovakia ble han tatt av politiet i Presov. Han ble torturert og forsøkte å ta sitt liv ved å skjære over pulsårene. En gruppe fra undergrunnsbevegelsen, ledet av Józef Cyrankiewicz (senere statsminister), lykkes med bortføre ham fra fengselssykehuset. Karski lå i 1941–1942 i dekning i Warszawa og drev der han blant annet undergravende propaganda mot tyske soldater, med trykking og distribuering av flygeblad på tysk. Ifølge flyktet han fra fengselssykehuset ved hjelp av polsk sykehuspersonale som sympatiserte med undergrunnsbevegelsen, før han fikk hjelp av hjemmestyrkene.