1932-től családjával mint brit állampolgár, brit útlevéllel számos nyugat-európai és közel-keleti országban megfordult, hivatalosan mint újságíró, de valójában a külföldi szovjet hírszerzősejtek technikai felszereltségét fejlesztette, illetve a hírszerzők kiképzését folytatta. 1934-ben rendelték haza, pont amikor a hatalomra került Sztálin „nagy tisztogatásba” kezdett, de őt szerencséjére nem akarták kivégezni, hanem kitüntették, és megbízták Kim Philby, a „Cambridge-i Ötök” legismertebb tagjának műszaki-logisztikai támogatásával a jobb kapcsolattartás érdekében, melyet egész 1938-ig csinált. Ezután Bukovinában kellett szovjetszimpatizáns ügynököket toboroznia. Hatékonysága ellenére 1939-ben – talán külföldiesen hangzó neve miatt – lefokozták, és egy repülőgépgyárban kapott technikusi állást. De ekkor sem volt tétlen, gépész- és vegyészmérnöki tanulmányokat folytatott. Hírszerzői munkát csak 1941 nyarától kapott megint, miután Németország a Szovjetunióra támadt és kitört a Nagy Honvédő Háború. Az ismét állományba vett Wilhelm ekkor foglyul ejtett német rádiósok „átállításában” jeleskedett, majd általuk taktikailag és stratégiailag dezinformálta a német hírszerzést. Ő maga 1944-ben, a második világháború vége felé egy elfogott Abwehr-tiszt, bizonyos Johannes Weiss identitásában szivárgott be a visszavonuló német csapatokba, és folyamatosan tájékoztatta Moszkvát a németek hadmozdulatairól, gyenge pontjairól. Ezekben az időkben találkozott egyik volt társbérlőjével, Rudolf Ivanovics Abellel, akinek később felvette az általa elhíresültté tett nevét, miután az igazi Abel 1955-ben szívrohamban meghalt.