Sort elghunds nøyaktige opphav og utvikling er usikker. Hundetypen og har sitt opphav blant nordiske spisshunder, som fants i grensetraktene mellom Norge og Sverige særlig ved Jämtland, Härjedalen og Dalarne. Akkurat når hunden oppsto som en selvstendig type er ukjent, men som rase stammer den trolig fra 1800-tallet eller tidligere. Presten Smith i Trysil beskrev den sorte jakthunden på slutten av 1700-tallet. Ved en utstilling i 1877 stilte alle spisshunder i samme klasse og i 1895 kom egen rasestandard for det som da ble kalt "sort dyrehund". I 1903 kom betegnelsen "norsk dyrehund". Den ble også omtalt som «sort dyrehund» og da elgstammene gikk sterkt tilbake på 1800-tallet var den sorte elghunden fortsatt populær til blant annet bjørnejakt. Reindriftsamene bidro trolig til å holde rasen i hevd og ble ved en hundeutstilling i 1901 betegnet som den «finnmarkske dyrehund». En mulighet er at den ble utbredt i Trøndelag og Østerdalen omkring 1900 men hadde opprinnelse lenger nord. Den regnes som litt eldre enn norsk elghund grå og er mindre enn denne. Omkring 1900 var den populær og tallrik før den grå elghunden ble dominerende i første halvdel av 1900-tallet. Rasen kan ha felles opphav med norsk buhund, norrbottenspets, finsk spets og islandsk fårehund, men dette er uavklart.