Kjelstrup forsøkte å ta seg til Nord-Norge via Sverige for å slutte seg til de norske styrkene som fremdeles var i kamp der. Etter først å ha blitt avvist ved grensen ble han internert i Sverige den 7. juni 1940, samme dag som de norske styrkene i Nord-Norge kapitulerte. Han prøvde å komme seg videre til Storbritannia for å slutte seg til de norske utestyrkene, men ble i mars 1941 arrestert av svenskene, mistenkt for spionasje etter kontakt med britisk etterretning ved Den britiske legasjonen i Stockholm. Den 7. mai ble han utvist fra Sverige og satt på flyet til Moskva.