Halvorsen spilte fortsatt på Hamburg men merket at nazifiseringen av tysk idrett førte med seg krav om ensretting og innordning. I 1933, året for nazistenes maktovertakelse, dro derfor Halvorsen tilbake til Norge. Men først var det klart for testimonial. Schwerin ble slått hele 14-0 i september 1933. Som avskjedspresang fikk Halvorsen mot normalt ta straffe, og kom dermed på scoringslisten. Under hyllningsseremonien etterpå hevet alle lagkameratene armen til Hitler-hilsen. Én mann sto rolig i sentrum av det hele med armene langs kroppen i en skog av heil: Asbjørn Halvorsen. Etter 224 kamper for Hamburg oppsummerte sportsavisen at «Halvorsen vil bli stående i historien. Denne harde, men aldri unfaire mannen.» Avisen konkluderte med at Tyskland aldri ville glemme han. Den endelige avskjeden var på togperrongen i Hamburg, hvor HSV-fansen møtte opp og sang. Otto Harder hadde da med en gave – ballen fra avskjedskampen, i bronseforgylt utgave. Dermed fikk Halvorsen ballen han scoret sin karrieres siste mål med, en ball som nå står utstilt i SFKs klubbhus i Sarpsborg. Klubbhuset har en egen «Assi»-sal med et portrett av Halvorsen og en vegg med dekorasjoner fra hans epoke i tysk fotball.