Dopo alcuni mesi di insegnamento, Häyhänen fu avvicinato da agenti dell'NKVD, la polizia segreta comunista: dato che aveva studiato il finlandese e lo sapeva parlare molto bene, Häyhänen fu assegnato come interprete ad un gruppo dell'NKVD ed inviato in una zona di combattimento sul fronte della guerra russo-finnica per tradurre i documenti recuperati al nemico ed interrogare i prigionieri finlandesi. Con la fine del conflitto, nella primavera del 1940, a Häyhänen fu assegnato il compito di controllare la lealtà dei lavoratori sovietici presenti in Finlandia ed a formare informatori in mezzo a loro. Il suo primo obiettivo era quello di identificare elementi anti-sovietici tra i membri dei servizi segreti.