Harz ble i folkevandringstiden bebodd av innvandrende folkestammer fra nord, blant annet heruler og harudere. Alle steder i Harz med etterstavelsen er grunnlagt av haruderne. Harzgau er første gang nevnt i et diplom fra 814, i den høytyske formen (Harudengau). «Harud» (senere , , ) betyr «skog» eller «skogdekte fjell».