Jõhvi er først nevnt som by i 1241 i Kong Valdemars jordebok da byen var under dansk herredømme. Historiske navn på Jõhvi er Gewi og Jewi.