I 1939 var Pedersen blitt formann for NKP lokalt og satt i bystyret for NKP. Pedersen var blant NKP-lederne på Vestlandet som ble arrestert av tyskerne i november 1940. Han satt først i fangeleiren Ulven, der han som «stue-eldste» gjorde en stor innsats for å organisere og hjelpe med-fanger. Derfra ble han i mai 1943 transportert til Grini der han satt til freden kom. Han ble overført fra Grini til Bardufoss og var med å bygge Bardufoss flyplass og kom ikke tilbake til Bergen før 5. juni 1945.