Baalsrud reiste fra Shetland til Troms om bord på båten «Brattholm», som ble senket under kampen på Toftejord 30. mars 1943. Som den eneste overlevende fra båten flyktet han, med hjelp av mange andre, gjennom de tyskokkuperte områdene Troms og Finland for å nå det nøytrale Sverige fra mars til juni 1943.