Im März 1933 verhafteten die Nationalsozialisten den Künstler und hielten ihn zwei Monate lang in „Schutzhaft“. Im Klingelpütz eingesperrt, malte Paffenholz seine Zelle aus. Mit Verhören, Hausdurchsuchungen und Berufsverbot wurde er auch in den folgenden Jahren weiter drangsaliert. Dabei verlor er auch seine Stelle bei der Westdeutschen Rundfunk AG. Um weiter Geld zu verdienen, malte er unter dem Geburtsnamen seiner Frau, Lossen, weiter. Im August 1944 wurde er nach dem Attentat auf Hitler im Rahmen der Aktion Gewitter verhaftet und in das Kölner Gestapo-Gefängnis EL-DE-Haus eingeliefert. Von dort wurde er zusammen mit anderen ehemaligen Politikern demokratischer Parteien (u. a. mit Konrad Adenauer, Thomas Eßer, Josef Baumhoff, Peter Schlack, Otto Gerig und Joseph Roth) in das Arbeitserziehungslager in den Messehallen in Köln-Deutz überführt, aber nach einigen Wochen wieder entlassen. Es blieb ein Kontakt zu Roth (dessen Ehefrau über ihren Vater Georg Paffenholz weitläufig verwandt war) bestehen, der ihm nach dessen Entlassung aus dem KZ auch Briefe schrieb.