Det hevdes at han i 1939/40 prøvde å verve seg til vinterkrigen i Finland, men skal ha blitt avvist på grunn av svak fysikk. Dette er imidlertid ikke dokumentert. Etter den tyske invasjonen 9. april 1940 deltok Rinnan som sjåfør for de norske styrkene i Snåsa og ble sammen med disse internert av okkupantene. Han lot seg verve som tysk agent allerede i slutten av juni samme år. Fram til årsskiftet 1941/42 arbeidet han i hovedsak alene som agent. Høsten 1941 infiltrerte han den venstreorienterte motstandsbevegelsen i Trondheim under dekknavnet «Fiskvik». Mellom 50 og 60 personer ble arrestert i det tyskerne kalte «kommunistsaka», senere «den første kommunistsaka».