モンゴル帝国のロシア襲来以前、スモレンスク公国はスモレンスクから東へ伸びる道をウラジーミル・スーズダリ大公国などから守るため、この地に砦を建設した。これがドロゴブージの成立で、以後ドニエプル川上流の交易拠点として発展した。1508年、スモレンスク領をリトアニア大公国から奪ったモスクワ大公国のヴァシーリー3世はリトアニア軍の襲撃に備え木造の要塞を建設するためイタリア人の職人達をこの地へ派遣している。大動乱の時期、ポーランドとの戦いで町は完全に荒廃し、1614年の人口はわずか10人だったとされる。戦争の結果、ポーランド・リトアニア共和国は国境を東へ押しやり、1611年から1668年（ロシア・ポーランド戦争 (1654年-1667年)）まではドロゴブージもポーランド・リトアニア領スモレンスク県の一部となっていた。