nltk/nltk — Issue #99: UDHR corpus fileid 'Kazakh-UTF8' has letters not from Kazakh alphabet
Author: alexrudnick
Created: 2012-01-17 06:26:03+00:00
State: open

What version of NLTK are you using? (See nltk.__version__). Please only
submit bug reports for the current version.
NLTK version: 2.0b2
Python version: 2.5

What steps will reproduce the problem? (e.g. include Python source code)
import nltk
from nltk.corpus import udhr
print udhr.raw(fileids='Kazakh-UTF8')

What is the expected output? What do you see instead?
The expected output is:
АДАМ ҚҰҚЫҚТАРЫНЫҢ ЖАЛПЫҒА БІРДЕЙ ДЕКЛАРАЦИЯСЫ
ПРЕАМБУЛА
Адам баласы үйелменінің барлық мүшелеріне тән қадір‐қасиетін, құқықтарының
теңдігі мен тартып алынбайтындығын тану, бостандық пен әділдіктің және
жалпыға бірдей бейбітшіліктің негізі болып табылатынына назар аудара
отырып,

But instead, it outputs:
АДАМ ЌЂЌЫЌТАРЫНЫЊ ЖАЛПЫЃА БІРДЕЙ ДЕКЛАРАЦИЯСЫ
ПРЕАМБУЛА
Адам баласы џйелменініњ барлыќ мџшелеріне тѕн ќадір-ќасиетін, ќђќыќтарыныњ
тењдігі мен тартып алынбайтындыѓын тану, бостандыќ пен ѕділдіктіњ жѕне
жалпыѓа бірдей бейбітшіліктіњ негізі болып табылатынына назар аудара
отырып,

Please use labels and text to provide additional information.
The correct text can be found here:
http://www.lexilogos.com/declaration/kazakh.htm

As it appears, only the letters which are not in Russian Cyrillic alphabet
have been misspelled.

Migrated from http://code.google.com/p/nltk/issues/detail?id=510