fxsjy/jieba — pull request #66 by piaolingxue (2013-06-27 05:50:55+00:00)
Title: Add token position info

所有分词接口输出词位置信息

测试代码:
```
jieba.initialize('../extra_dict/dict.txt.big')
lines = [
'中华人民共和国 小明硕士毕业于中国科学院计算所，后在日本京都大学深造',
'他来到了网易杭研大厦',
'这是一个伸手不见五指的黑夜。我叫孙悟空，我爱北京，我爱Python和C++。',
'工信处女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工作'
]
for line in lines:
print "Full Mode:"
result = jieba.cut(line, cut_all=True)
for tk in result:
print '%-10s%-5d%-5d' % (tk[0], tk[1], tk[2])

print "Default Mode:"
result = jieba.cut(line, cut_all=False)
for tk in result:
print '%-10s%-5d%-5d' % (tk[0], tk[1], tk[2])

print 'Search Mode:'
result = jieba.cut_for_search(line)
for tk in result:
print '%-10s%-5d%-5d' % (tk[0], tk[1], tk[2])
```

结果:
```
Full Mode:
中华 0 2
中华人民 0 4
中华人民共和国 0 7
华人 1 3
人民 2 4
人民共和国 2 7
共和 4 6
共和国 4 7
7 8
小 8 9
明 9 10
硕士 10 12
毕业 12 14
于 14 15
中国 15 17
中国科学院 15 20
科学 17 19
科学院 17 20
学院 18 20
计算 20 22
计算所 20 23
， 23 24
后 24 25
在 25 26
日本 26 28
日本京都大学 26 32
京都 28 30
京都大学 28 32
大学 30 32
深造 32 34
Default Mode:
中华人民共和国 0 7
7 8
小明 8 10
硕士 10 12
毕业 12 14
于 14 15
中国科学院 15 20
计算所 20 23
， 23 24
后 24 25
在 25 26
日本京都大学 26 32
深造 32 34
Search Mode:
中华 0 2
华人 1 3
人民 2 4
共和 4 6
共和国 4 7
中华人民共和国 0 7
```