I Stockholm fikk Holst arbeid ved den norske legasjonens (legasjon er en tidligere betegnelse på hva vi i dag kaller ambassade) Militærkontor nr. 4 (Mi4), med kontor hos Mi4 i Skeppargatan 32 på Östermalm. Holst fikk en viktig stilling underlagt Hans Ringvold. Han arbeidet med forsyninger til hjemmestyrkene i Norge, og en av hans oppgaver var å organisere kurérvirksomheten (hemmelige meldinger og utstyr) til og fra Norge. Høsten 1943 var Holst, sammen med Sverre Ellingsen fra Special Operations Executive (SOE) også involvert i planleggingen av kidnapping og likvidering av torturisten og angiveren Henry Oliver Rinnan. Planen var at Rinnan skulle borføres, avhøres, og deretter henrettes. Operasjonen mislyktes og førte til at én av agentene - Johnny Pevik - ble tatt av tyskerne og henrettet.