Han var kjent for å være brutal. Hölscher skjøt seg selv 22. mai 1945 under pågripelsen i Arendal, der han hadde forsøkt å gjemme seg i en oppsamlingsleir for Wehrmachtsoldater.