Město se nachází v nadmořské výšce 2 200 metrů nad mořem na soutoku řek Pandž a Gunt. Bylo založeno na konci 19. století v rámci územní expanze Ruské říše. Nejdříve byla postavena ruská pevnost a na okolním území byla vyhlášena provincie Ruský Pamír. V roce 1925 byla vyhlášena provincie Horský Badachšán a Chorog se stal jejím hlavním městem. Zároveň se stal součástí Tádžické SSR. Během tádžické občanské války se v Chorogu nebojovalo, nicméně byl jedním z míst, kde se badachšánští islamisté stýkali s Taliby.