I 1939/40 prøvde han å verve seg til vinterkrigen i Finland, men frem til 1960 avviste forsvaret folk med gebiss, og Rinnan hadde gebiss i overmunnen. Klara har fortalt at han tok avvisningen tungt. Etter den tyske invasjonen 9. april 1940 deltok Rinnan som sjåfør for de norske styrkene i Snåsa og ble sammen med disse internert av okkupantene. Han lot seg verve som tysk agent allerede i slutten av juni samme år. Fram til årsskiftet 1941/42 arbeidet han i hovedsak alene som agent. Høsten 1941 infiltrerte han den venstreorienterte motstandsbevegelsen i Trondheim under dekknavnet «Fiskvik». Mellom 50 og 60 personer ble arrestert i det tyskerne kalte «kommunistsaka», senere «den første kommunistsaka».