Under andre verdenskrig drev Knudsen sin egen sakførerpraksis dels på Notodden, dels i Oslo. Han var under hele krigen aktiv i motstandskampen mot de tyske okkupantene. Blant annet var han en av dem som ga ut den illegale avisen på Notodden. Han var leder for Bedriftsledelsen (BL) i Milorg frem til frigjøringen i 1945; Bedriftsledelsen var ledelsen i Milorgs Bedriftsorganisasjonen (B-org). Siste del av okkupasjonen satt Kai Knudsen som fange i Berg fangeleir i Sem utenfor Tønsberg. Straks etter den tyske kapitulasjonen dro han til Notodden der han ble innsatt som ordfører.