Etter fotballen jobbet han som forsikringsmekler. I tillegg meldte han seg inn i NSDAP i 1932, og kort tid etter i SS. I 1939 meldte Harder seg tidlig til fronten. Harder tjenestegjorde blant annet som fangevokter i Neuengamme konsentrasjonsleir. Denne leiren ble også Asbjørn Halvorsen plassert i, som fange. Det er imidlertid ikke bevist at Harder og Halvorsen befant seg i Neuengamme samtidig, og derfor er ikke myten om at de møttes som fangevokter og fange bekreftet.