Han meldte seg inn i NSDAP i 1937. Samme år gikk han inn i SS og ble en del av , en stabsenhet med kontor i Kiel. Han arbeidet i nær forståelse med Heinrich Himmler i organisasjonen («ane-arv»), og var opptatt av utgravninger i grensetraktene mot Danmark med vikingtidens Hedeby og Danevirke. Her klarte han å hindre Alfred Rosenbergs folk i å kjøpe opp Hedeby-området rett under nesen på . Himmler var spesielt opptatt av Hedeby og besøkte utgravningene i mars 1937. Han var så opptatt av Hedeby-prosjektet at det ble største enkeltposten i budsjett. Da Jankuhn i 1938 ble direktør for det forhistoriske museum i Kiel, og utnevnt til i Himmlers personlige stab, forskjøv det balansen i utgravningene at nordiske forskere fikk delta, slik at holdningen endret seg fra klart anti-dansk til et tysk-nordisk fellesprosjekt. Dette forpurret også planene i Josef Goebbels' propagandaministerium om å omskape høyborgen ved Hedeby til et friluftsteater som et slags nazistisk tingsted. i 1943 utga Jankuhn .