Etter maktoverføringen til NSDAP i 1933 ble han helt fjernet fra undervisningstjenesten. Han hadde også offentlig uttalt seg mot likestillingen av fagforeningene. Fra nå av tjente han til livets opphold i en kafébutikk, der han fraktet kaffe til kundene med sykkel. Ledelsen av IOL hadde besluttet å dele seg opp i mindre grupper; en av dem ble nå ledet av Klug. Som sjåfør i kundeservice kunne han opprettholde forbindelsen til de andre, dele ut antifascistiske skrifter og koordinere tiltak. Da Gestapo ble kjent med hans motstandsarbeid, ble han 25. mai 1933 tatt i „beskyttelsesfange“. En domstol dømte ham til ett års fengselsstraff. Da han ble løslatt, måtte han utføre tvangsarbeid i ungdomshjemmet „Puan Klent“ på Sylt. Etterpå fortsatte han kundeservice i kafébutikken til motstandsmannen Kurt Adams og kunne dermed styrke forbindelsen til de andre IOL-lærergruppene. I 1935 ble han på nytt arrestert og dømt av en domstol for „forræderi“ til en fengselsstraff i ukjent lengde. Igjen ble han offer for en massarrestasjon av Gestapo i 1937, med umiddelbar innsettelse i konsentrasjonsleiren Sachsenhausen. Etter løslatelsen fra konsentrasjonsleiren sluttet han seg i 1940 til motstandsgruppen „Bästlein-Jacob-Abshagen“. Etter at hans fratatte „verneplikt“ ble gjenopprettet, ble han i 1941 innkalt til Wehrmacht og først stasjonert i krigsfangenskapet Stalag X-B Sandbostel og fra juli 1943 i et krigsfangenskap i Norge for vakthold av sovjetiske krigsfanger. Denne funksjonen benyttet han til å etablere kontakter med sovjetiske fanger og fengslede norske motstandsmenn. Den 26. februar 1944 ble han arrestert, mistenkt for å ha gitt sovjetiske krigsfanger mulighet til å rømme til det nøytrale Sverige, men han klarte å rømme og skjule seg. Han ble imidlertid forrådt og arrestert igjen. Den 15. mars 1944 dømte en krigsrett ham til døden. Dommen ble 28. mars 1944 fullbyrdet. Rudolf Klug hviler på krigsgravplassen i Narvik.