Pilecki var medlem av flere polske motstandsgrupper som sloss mot den tyske okkupasjonsmakten. Sammen med andre offiserer etablerte han i november 1939 (TAP, den hemmelige polske arme). Jan Włodarkiewicz var sjef, mens Pilecki var nestkommanderende, og de bygget relativt raskt opp en styrke på 8000 mann. I 1941 ble TAP slått sammen med Armia Krajowa som var den største væpnede motstandsgruppene i de tyskokkuperte områdene i Europa. Flere medlemmer av TAP ble i 1940-1941 arrestert og internert i Auschwitz som på det tidspunktet var en leir for politiske fanger og krigsfanger og ikke hadde blitt utvidet til utryddelsesleir. TAP ønsket å infiltrere Auschwitz for å finne ut hva som foregikk og for å organisere fangene.