semvec/pypi-packages huggingface dataset:
sengiri 0.2.3
Yet another sentence-level tokenizer for the Japanese text
License: MIT License
Keywords: japanese, tokenizer, sentence, sentence-tokenizer, setence-splitter

sengiri
==========
|pyversion| |version| |license| |download| |nowarnonukes|

Yet another sentence-level tokenizer for the Japanese text

DEPENDENCIES
==============

- MeCab
- emoji

INSTALLATION
==============

::

 $ pip install sengiri


USAGE
============

.. code:: python

  import sengiri

  print(sengiri.tokenize('うーん🤔🤔🤔どうしよう'))
  #=>['うーん🤔🤔🤔', 'どうしよう']
  print(sengiri.tokenize('モー娘。のコンサートに行った。'))
  #=>['モー娘。のコンサートに行った。']
  print(sengiri.tokenize('ありがとう＾＾ 助かります。'))
  #=>['ありがとう＾＾', '助かります。']
  print(sengiri.tokenize('顔文字テスト(*´ω｀*)うまくいくかな？'))
  #=>['顔文字テスト(*´ω｀*)うまくいくかな？']
  # I recommend using the NEologd dictionary.
  print(sengiri.tokenize('顔文字テスト(*´ω｀*)うまくいくかな？', mecab_args='-d /usr/local/lib/mecab/dic/mecab-ipadic-neologd'))
  #=>['顔文字テスト(*´ω｀*)', 'うまくいくかな？']
  print(sengiri.tokenize('子供が大変なことになった。'
                         '（後で聞いたのだが、脅されたらしい）'
                         '（脅迫はやめてほしいと言っているのに）'))
  #=>['子供が大変なことになった。', '（後で聞いたのだが、脅されたらしい）', '（脅迫はやめてほしいと言っているのに）']
  print(sengiri.tokenize('楽しかったw また遊ぼwww'))
  #=>['楽しかったw', 'また遊ぼwww']
  print(sengiri.tokenize('http://www.inpaku.go.jp/'))
  #=>['http://www.inpaku.go.jp/']


.. |pyversion| image:: https://img.shields.io/pypi/pyversions/sengiri.svg

.. |version| image:: https://img.shields.io/pypi/v/sengiri.svg
    :target: http://pypi.python.org/pypi/sengiri/
    :alt: latest version

.. |license| image:: https://img.shields.io/pypi/l/sengiri.svg
    :target: http://pypi.python.org/pypi/sengiri/
    :alt: license

.. |download| image:: https://static.pepy.tech/personalized-badge/sengiri?period=total&units=international_system&left_color=black&right_color=blue&left_text=Downloads
    :target: https://pepy.tech/project/sengiri
    :alt: download

.. |nowarnonukes| image:: https://img.shields.io/badge/NO%20WAR-NO%20NUKES-brightgreen
    :alt: NO WAR


CHANGES
=======

0.2.3 (2025-11-28)
------------------

- Enhanced URL handling stability using MeCab's partial parsing and regex
- Resolve problem about the dependency module (emoji)
- Support Python 3.9-3.14
- Drop supporting Python 3.4-3.8

0.2.2 (2019-10-15)
------------------

- In tokenize() method, `emoji_threshold` parameter is available
- Bugfix

0.2.1 (2019-10-12)
------------------

- Works well with also a text including emoticon and www (Laughing expression)
- Always treat emoji to delimiter regardless MeCab's POS

0.1.1 (2019-10-05)
------------------

- First release