I 1936 kom Wirmer i kontakt med fagforeningsmotstandskretsene rundt Jakob Kaiser. Fra 1941 tilhørte han motstandskretsen rundt Carl Friedrich Goerdeler. Han bidro til å skape og opprettholde en samstemthet i motstandsengasjementet mellom grupper som ellers ikke stod hverandre nær, som antinazister i fagforening og sosialdemokrati, i kirkelige kretser, og i den gamle adelselite. Wirmer støttet fra første stund Claus Schenk von Stauffenbergs kupplaner.