Grunnet sine mange reiser til Sverige ble Robsahm av flere mistenkt for å være spion, mens noen mente han oppga å arbeide for britene, når han i virkeligheten arbeidet for tyskerne (noe som var korrekt), mente andre (som Arne B. Mollén i motstandsgruppen 2A, senere kjent idrettsleder) at han arbeidet for britene og at han snart ville bli arrestert av Gestapo. Robsahms viktigste oppdrag for Abwehr ble etterhvert å følge opp kvarstadbåtene i Göteborg. I april 1941 fikk Robsahm igjen 10 tusen kroner fra britene, pengene skulle blant annet gå til honorar for Cranner, men Robsahm beholdt alt selv. I juli 1941 hadde Robsahm et møte med Iacob D. Sømme, sambandssjef for Milorg i Sør-Norge, Sømme ba blant annet Robsahm om å ta kontakt med commander Malcolm Munthe. Robsahm ga Abwehr informasjon om møtet med Sømme og han ble bedt om å møte Sømme igjen, noe han gjorde, og Robsahm fikk da et miniatyrfoto av Bardufoss flyplass.