Høsten 1942 ble Schwalm som SS-Hauptsturmführer overført til Oslo for å lede Ahnenerbe-underavdelingen i Norge. Dermed var han praktisk talt Heinrich Himmlers personlige representant i Norge.