Knudsen drev aktivt motstandsarbeid under krigen, og i 1944 ble han og hans kone Judith fengslet og sendt til Grini hvor de satt til krigens slutt. Der opprettet Knudsen «Griniorkesteret» som spilte for medfangene. Under Grinis berømte julekabaret i 1944 var han med å akkompagnere Otto Nielsen og hans Grinikvartett. Under oppholdet på Grini fikk Knudsen, som likte å stå opp tidlig, lurt seg til å gå i fellesdusjen grytidlig om morgenen for å unngå å måtte slåss om plassen med medfangene. En dag gikk det i døren mens han dusjet, og Knudsen trodde han var avslørt av tyskerne. Inn kom imidlertid Norges kommende statsminister Einar Gerhardsen, som hadde fått samme idé. De to møttes dermed daglig til morgenstell og samtaler frem til løslatelsen.