Kryvyj Rih ble grunnlagt av zaporizjzjakosakker på 1600-tallet. Under den russiske borgerkrigen var byen med omland senter for Nestor Makhno og hans anarkistiske styrker. Under andre verdenskrig ble byen totalt ødelagt under kamper med tyskerne. I sovjettiden ble metallindustrien i byen kraftig bygget ut.