Základy moderního města byly položeny v roce 1895, kdy zde Ruské impérium začalo stavět "Transmandžuskou železnici" (později přejmenovanou na Východočínskou železnici). Charbin se stal centrem výstavby, byly zde ubytovány desítky tisíc ruských inženýrů, úředníků, vojáků a obchodníků s rodinami. Během rusko-japonské války (1904–1905) se důležitost města ještě zvýšila, neboť zde byla hlavní základna ruské armády v Mandžusku. Po říjnové revoluci do města přišly desetitisíce emigrantů z Ruska. Počet obyvatel velmi rychle stoupl, v té době se jednalo o největší komunitu Evropanů v Asii.