refactored: replaced streamlit with gradio

.gitignore

@@ -141,3 +141,4 @@ cython_debug/
 
 # PyCharm
 .idea/
+gradio_cached_examples/

README.md

@@ -17,4 +17,4 @@ This repository presents some practical examples on using HuSpaCy for various te
 
 ## Development
 
-To start the demo run: `streamlit run app.py`
+To start the demo: `poetry run python app.py`

app.py

@@ -1,33 +1,14 @@
-import pandas as pd
-import streamlit as st
-from examples.keywords import process as keywords
+import gradio as gr
+from examples.keyphrases import demo as keyphrases_demo
 
-DEFAULT_TEXT = """Az elfogadott lengyel helyreállítási terv még jobban izolálja Magyarországot, gazdasági és politikai szempontból egyaránt. Mint megtudtuk, hiába mondta még márciusban Orbán, hogy a hitelrészt is kérjük az uniós pénzekből, a korábban benyújtott terveket egyelőre nem módosítottuk.
+demo = gr.Blocks()
 
-Lengyelország tavaly májusban adta be nemzeti helyreállítási tervét és idén június 1-jén kapta meg rá az Európai Bizottság jóváhagyását. Az uniós tagállamok 2020 decemberében döntötték el – a jogállamiság miatti lengyel és magyar vétófenyegetés feloldásával –, hogy egy 750 milliárd eurós alapot hoznak létre, hogy segítse a koronavírus utáni gazdasági talpráállást. Minden tagállamnak el kell készítenie a felhasználásra vonatkozó tervét, amelynek tartalmazni kell, hogy mekkora vissza nem térítendő támogatásra és mekkora hitelre tart igényt. Ezek természetesen maximált keretek. A lengyel „gazdaságélénkítési és ellenállóképesség-növelési” program értéke 35,4 milliárd euró: 23,9 milliárd támogatás és 11,5 milliárd kölcsön.
+with demo:
+    gr.Markdown("# HuSpaCy Examples")
+    gr.TabbedInterface(
+        interface_list=[keyphrases_demo],
+        tab_names=["Keyphrase extraction"]
+    )
 
-Lengyelország esetében azért húzódott ilyen sokáig az eljárás, mert előbb az Európai Bizottság, majd pedig az Európai Bíróság is úgy találta, hogy a lengyel igazságszolgáltatási reform ellentétes az uniós joggal, elsősorban az úgynevezett fegyelmi kamara miatt, amelyben túl nagy befolyása van a kormánypártnak. Ezt az akadályt kellett elhárítani, hogy meginduljanak az uniós pénzek útjából, az ehhez szükséges jogszabályt pedig a múlt héten hozták meg a lengyelek. Az Európai Bizottságnak tehát nem konkrétan a lengyel tervvel volt gondja, hanem azzal, hogy az uniós pénzek elköltésének ellenőrzését egy politikailag befolyásolt bíróság végzi el.
-
-Ahhoz azonban, hogy a lengyelek pénzt kapjanak, további feltételeknek is meg kell felelniük, a jóváhagyó döntésében a brüsszeli testület többek közt három mérföldkövet jelölt meg:
-
-a bírák fegyelmi rendszerének reformja, új testület létrehozásával és a fegyelmi felelősség új alapjaival – határidő 2022 második negyedév,
-a Legfelsőbb Bíróság Fegyelmi Kollégiumának határozataival érintett bírák ügyeinek felülvizsgálati eljárása – határidő 2022 második negyedév,
-utólagos ellenőrzés a felülvizsgálati eljárás befejezésének biztosítására – határidő 2022 negyedik negyedév.
-Vagyis a jogellenesen felállított fegyelmi kamara bírákkal szembeni összes ügyét külön bíróság elé kell terjeszteni, amelynek pártatlannak kell lennie. Azt is rögzítették, hogy a bírák nem vonhatók fegyelmi felelősségre azért, mert kérdéseket tettek fel az Európai Bíróságnak és az általuk meghozott döntések tartalmáért sem.
-
-Az első feltételt teljesítették, a másodiknak még ebben a hónapban eleget kell tenni. Ennek azért van jelentősége, mert csak akkor lehet kifizetési igényt előterjeszteni, ha az első két pontban írtak megvalósultak. Mindezt a lengyel kormány vállalta, így a keretből idén várhatóan 4 milliárd eurót fognak kapni.
-
-Ami pedig a konkrét terveket illeti: 49 reformot és 53 beruházási projektet tartalmaz a dosszié, a források 42,7 százalékát az éghajlatváltozás elleni küzdelemre, 21,3 százalékát a digitális átállásra fordítják. Mindezzel reményeik szerint 105 000 munkahelyet teremtenek és a következő húsz évben a GDP 15 százalékos növekedését érik el.
-
-Az eljárás hivatalos folytatása az, hogy a tagállamok négy héten belül jóváhagyják a bizottsági ajánlást. Az EUrologus figyelmét uniós források arra hívták fel, hogy ez a helyzet legalább két szempontból igen előnyös a lengyelek számára:
-
-További mintegy 25 milliárd euró válik elérhetővé számukra, amely részben a fel nem használt hitelrészt, részben pedig az ide becsatornázott és az orosz energiáról való leválást szolgáló REPowerEU nevű alapból rájuk eső részt jelenti,
-Ha a feltételeket rendben teljesítik, akkor megszűnik az ok, amiért a 7-es cikkely szerinti eljárást velük szemben folytatják. Tovább gondolva: ha ebből kikerül Lengyelország, akkor vége lesz a Magyarországgal eddig fenntartott dacszövetségnek. Tehát az EU képes lehet a legsúlyosabb szankciókat is meghozni, ha a magyar kormány továbbra is sérti a jogállamisági elveket, mert a lengyelek nem fognak pusztán azért vétózni, mert hasonló helyzetben a magyarok is vétóznának a javukra.
-Ami egyébként a magyar helyreállítási tervet illeti: bizottsági tisztviselőktől úgy értesültünk, hogy a tárgyalások továbbra is folynak a jogszabályban meghatározott kritériumok alapján. Forrásunk ugyanakkor egyértelműen kijelentette, hogy a magyar tervet nem módosították az elmúlt hónapokban. Ez azért fontos, mert a magyar kormány eredetileg – tavaly áprilisban – csak a vissza nem térítendő – akkori árfolyamon számolva – 2500 milliárd forintra pályázott, de idén márciusban Orbán Viktor azt mondta, hogy a 3300 milliárd forintos hitelre is igényt tartana. Ehhez azonban módosítani kellene a tervet, de ez nem történt meg. Ráadásul ami tavaly még 2500 milliárd forint volt, az mostanra csak 2000. A vártnál kisebb gazdasági visszaesés és a robusztus növekedés miatt ugyanis kiigazították az arányokon alapuló számokat, ami mínusz 1,3 milliárd eurót jelentett. Ennek az összegnek a 70 százaléka pedig napról napra nagyobb veszélyben van. Ha ugyanis ez év végéig nem fogadják el a tagállamok a magyar tervet a bizottsági ajánlás alapján, akkor a lehívható vissza nem térítendő összeg 70 százaléka elvész – így szól a jogszabály.
-A bizottsági jóváhagyást követően egy hónappal dönt a Tanács, majd két hónap áll rendelkezésre a szerződés véglegesítésére a Bizottság számára. Ez már három hónap és figyelembe kell venni a nyári szünetet is…
-"""
-
-st.sidebar.title("Demo")
-text: str = st.text_area("Text to analyze", DEFAULT_TEXT)
-keywords_df: pd.DataFrame = keywords(text)
-st.dataframe(keywords_df)
+if __name__ == '__main__':
+    demo.launch()

examples/keyphrases.py

@@ -0,0 +1,45 @@
+from typing import List, Tuple
+
+import pandas as pd
+import gradio as gr
+from examples.common import NLP
+from textacy.extract.keyterms.sgrank import sgrank as keywords
+
+
+def process(text: str) -> pd.DataFrame:
+    doc = NLP(text)
+    terms: List[Tuple[str, float]] = keywords(doc, topn=10)
+    term_set = [t for t, _ in terms]
+    return pd.DataFrame([{"Keyphrase": term, "Probability": prob}
+                         for term, prob in terms
+                         if all(other == term or term not in other for other in term_set)])
+
+
+EXAMPLES = ["""Az elfogadott lengyel helyreállítási terv még jobban izolálja Magyarországot, gazdasági és politikai szempontból egyaránt. Mint megtudtuk, hiába mondta még márciusban Orbán, hogy a hitelrészt is kérjük az uniós pénzekből, a korábban benyújtott terveket egyelőre nem módosítottuk.
+Lengyelország tavaly májusban adta be nemzeti helyreállítási tervét és idén június 1-jén kapta meg rá az Európai Bizottság jóváhagyását. Az uniós tagállamok 2020 decemberében döntötték el – a jogállamiság miatti lengyel és magyar vétófenyegetés feloldásával –, hogy egy 750 milliárd eurós alapot hoznak létre, hogy segítse a koronavírus utáni gazdasági talpráállást. Minden tagállamnak el kell készítenie a felhasználásra vonatkozó tervét, amelynek tartalmazni kell, hogy mekkora vissza nem térítendő támogatásra és mekkora hitelre tart igényt. Ezek természetesen maximált keretek. A lengyel „gazdaságélénkítési és ellenállóképesség-növelési” program értéke 35,4 milliárd euró: 23,9 milliárd támogatás és 11,5 milliárd kölcsön.
+Lengyelország esetében azért húzódott ilyen sokáig az eljárás, mert előbb az Európai Bizottság, majd pedig az Európai Bíróság is úgy találta, hogy a lengyel igazságszolgáltatási reform ellentétes az uniós joggal, elsősorban az úgynevezett fegyelmi kamara miatt, amelyben túl nagy befolyása van a kormánypártnak. Ezt az akadályt kellett elhárítani, hogy meginduljanak az uniós pénzek útjából, az ehhez szükséges jogszabályt pedig a múlt héten hozták meg a lengyelek. Az Európai Bizottságnak tehát nem konkrétan a lengyel tervvel volt gondja, hanem azzal, hogy az uniós pénzek elköltésének ellenőrzését egy politikailag befolyásolt bíróság végzi el.
+Ahhoz azonban, hogy a lengyelek pénzt kapjanak, további feltételeknek is meg kell felelniük, a jóváhagyó döntésében a brüsszeli testület többek közt három mérföldkövet jelölt meg:
+a bírák fegyelmi rendszerének reformja, új testület létrehozásával és a fegyelmi felelősség új alapjaival – határidő 2022 második negyedév,
+a Legfelsőbb Bíróság Fegyelmi Kollégiumának határozataival érintett bírák ügyeinek felülvizsgálati eljárása – határidő 2022 második negyedév,
+utólagos ellenőrzés a felülvizsgálati eljárás befejezésének biztosítására – határidő 2022 negyedik negyedév.
+Vagyis a jogellenesen felállított fegyelmi kamara bírákkal szembeni összes ügyét külön bíróság elé kell terjeszteni, amelynek pártatlannak kell lennie. Azt is rögzítették, hogy a bírák nem vonhatók fegyelmi felelősségre azért, mert kérdéseket tettek fel az Európai Bíróságnak és az általuk meghozott döntések tartalmáért sem.
+Az első feltételt teljesítették, a másodiknak még ebben a hónapban eleget kell tenni. Ennek azért van jelentősége, mert csak akkor lehet kifizetési igényt előterjeszteni, ha az első két pontban írtak megvalósultak. Mindezt a lengyel kormány vállalta, így a keretből idén várhatóan 4 milliárd eurót fognak kapni.
+Ami pedig a konkrét terveket illeti: 49 reformot és 53 beruházási projektet tartalmaz a dosszié, a források 42,7 százalékát az éghajlatváltozás elleni küzdelemre, 21,3 százalékát a digitális átállásra fordítják. Mindezzel reményeik szerint 105 000 munkahelyet teremtenek és a következő húsz évben a GDP 15 százalékos növekedését érik el.
+Az eljárás hivatalos folytatása az, hogy a tagállamok négy héten belül jóváhagyják a bizottsági ajánlást. Az EUrologus figyelmét uniós források arra hívták fel, hogy ez a helyzet legalább két szempontból igen előnyös a lengyelek számára:
+További mintegy 25 milliárd euró válik elérhetővé számukra, amely részben a fel nem használt hitelrészt, részben pedig az ide becsatornázott és az orosz energiáról való leválást szolgáló REPowerEU nevű alapból rájuk eső részt jelenti,
+Ha a feltételeket rendben teljesítik, akkor megszűnik az ok, amiért a 7-es cikkely szerinti eljárást velük szemben folytatják. Tovább gondolva: ha ebből kikerül Lengyelország, akkor vége lesz a Magyarországgal eddig fenntartott dacszövetségnek. Tehát az EU képes lehet a legsúlyosabb szankciókat is meghozni, ha a magyar kormány továbbra is sérti a jogállamisági elveket, mert a lengyelek nem fognak pusztán azért vétózni, mert hasonló helyzetben a magyarok is vétóznának a javukra.
+Ami egyébként a magyar helyreállítási tervet illeti: bizottsági tisztviselőktől úgy értesültünk, hogy a tárgyalások továbbra is folynak a jogszabályban meghatározott kritériumok alapján. Forrásunk ugyanakkor egyértelműen kijelentette, hogy a magyar tervet nem módosították az elmúlt hónapokban. Ez azért fontos, mert a magyar kormány eredetileg – tavaly áprilisban – csak a vissza nem térítendő – akkori árfolyamon számolva – 2500 milliárd forintra pályázott, de idén márciusban Orbán Viktor azt mondta, hogy a 3300 milliárd forintos hitelre is igényt tartana. Ehhez azonban módosítani kellene a tervet, de ez nem történt meg. Ráadásul ami tavaly még 2500 milliárd forint volt, az mostanra csak 2000. A vártnál kisebb gazdasági visszaesés és a robusztus növekedés miatt ugyanis kiigazították az arányokon alapuló számokat, ami mínusz 1,3 milliárd eurót jelentett. Ennek az összegnek a 70 százaléka pedig napról napra nagyobb veszélyben van. Ha ugyanis ez év végéig nem fogadják el a tagállamok a magyar tervet a bizottsági ajánlás alapján, akkor a lehívható vissza nem térítendő összeg 70 százaléka elvész – így szól a jogszabály.
+A bizottsági jóváhagyást követően egy hónappal dönt a Tanács, majd két hónap áll rendelkezésre a szerződés véglegesítésére a Bizottság számára. Ez már három hónap és figyelembe kell venni a nyári szünetet is…
+""", """Jövőre nem lesz "ledolgozós" hétvége
+2023-ban egyetlen szombati munkanap sem lesz.
+Jövőre kétszer (húsvétkor és karácsonykor) lesz négynapos a hétvége. Emellett négyszer lesz háromnapos hosszú hétvége, mivel május 1-én, pünkösdkor, október 23-án, és az újévkor is egy-egy hétfővel bővülnek majd a hétvégi szabadnapok - ezt Koncz Zsófia, a Technológiai és Ipari Minisztérium új parlamenti államtitkára közölte egy Facebook-bejegyzésben, hangsúlyozva, hogy a munkarendet meghatározó minisztériumuk úgy döntött, hogy 2023-ban egyetlen egynapos, "ledolgozós” hétvége sem lesz.
+Hogy mennyit ér egy munkanap, arról csak becsléseket lehet készíteni, és a statisztikusok legszívesebben erről is lebeszélnék a kísérletező kedvűeket. Nagyon leegyszerűsítve mondhatjuk azt: a GDP-t leosztva a munkanapok számával 160 milliárd forintot ér egy munkanap, de akkor még azt sem vettük figyelembe, hogy van munka azért hétvégéken is.
+"""
+            ]
+demo = gr.Interface(
+    fn=process,
+    inputs=gr.Textbox(value=EXAMPLES[0], lines=10, label="Input text", show_label=True),
+    outputs=gr.DataFrame(label="Keywords", show_label=False, max_cols=2, max_rows=10),
+    examples=EXAMPLES,
+    cache_examples=True,
+)

examples/keywords.py

@@ -1,14 +0,0 @@
-from typing import List, Tuple
-
-import pandas as pd
-from examples.common import NLP
-from textacy.extract.keyterms.sgrank import sgrank as keywords
-
-
-def process(text: str) -> pd.DataFrame:
-    doc = NLP(text)
-    terms: List[Tuple[str, float]] = keywords(doc, topn=10)
-    term_set = [t for t, _ in terms]
-    return pd.DataFrame([{"Keyphrase": term, "Probability": prob}
-                         for term, prob in terms
-                         if all(other == term or term not in other for other in term_set)])

pyproject.toml

@@ -7,11 +7,11 @@ license = "Apache 2.0"
 
 [tool.poetry.dependencies]
 python = "~3.8"
-streamlit = "^1.10.0"
 textacy = "^0.12.0"
 hu-core-news-lg = {url = "https://huggingface.co/huspacy/hu_core_news_lg/resolve/v3.3.0/hu_core_news_lg-any-py3-none-any.whl"}
 scipy = "~1.8.0"
 newspaper3k = "^0.2.8"
+gradio = "^3.0.11"
 
 [tool.poetry.dev-dependencies]
 

requirements.txt

@@ -1,152 +1,109 @@
-altair==4.2.0
-appnope==0.1.3; platform_system == "Darwin"
-argon2-cffi-bindings==21.2.0
-argon2-cffi==21.3.0
-asttokens==2.0.5
+aiohttp==3.8.1
+aiosignal==1.2.0
+analytics-python==1.4.0
+anyio==3.6.1
+asgiref==3.5.2
+async-timeout==4.0.2
 attrs==21.4.0
-backcall==0.2.0
-backports.zoneinfo==0.2.1; python_version >= "3.6" and python_version < "3.9"
+backoff==1.10.0
+bcrypt==3.2.2
 beautifulsoup4==4.11.1
-bleach==5.0.0
-blinker==1.4
 blis==0.7.7
 cachetools==5.2.0
 catalogue==2.0.7
 certifi==2022.5.18.1
 cffi==1.15.0
-cffi==1.15.0; implementation_name == "pypy"
+charset-normalizer==2.0.12
 charset-normalizer==2.0.12; python_version >= "3"
 click==8.1.3
 colorama==0.4.4; platform_system == "Windows"
-commonmark==0.9.1
+cryptography==37.0.2
 cssselect==1.1.0
+cycler==0.11.0
 cymem==2.0.6
 cytoolz==0.11.2
-debugpy==1.6.0
-decorator==5.1.1
-defusedxml==0.7.1
-entrypoints==0.4
-executing==0.8.3
-fastjsonschema==2.15.3
+fastapi==0.78.0
 feedfinder2==0.0.4
 feedparser==6.0.10
+ffmpy==0.3.0
 filelock==3.7.1
-gitdb==4.0.9
-gitpython==3.1.27
+fonttools==4.33.3
+frozenlist==1.3.0
+gradio==3.0.11
+h11==0.13.0
 hu-core-news-lg @ https://huggingface.co/huspacy/hu_core_news_lg/resolve/v3.3.0/hu_core_news_lg-any-py3-none-any.whl
 idna==3.3
 idna==3.3; python_version >= "3"
-importlib-metadata==4.11.4
-importlib-resources==5.7.1; python_version < "3.9"
-ipykernel==6.13.0
-ipykernel==6.13.0; python_version >= "3.4"
-ipython-genutils==0.2.0
-ipython==8.4.0
-ipython==8.4.0; python_version >= "3.3"
-ipywidgets==7.7.0
-jedi==0.18.1
 jellyfish==0.9.0
 jieba3k==0.35.1
 jinja2==3.1.2
 joblib==1.1.0
-jsonschema==4.6.0
-jupyter-client==7.3.1
-jupyter-core==4.10.0
-jupyterlab-pygments==0.2.2
-jupyterlab-widgets==1.1.0; python_version >= "3.6"
+kiwisolver==1.4.2
 langcodes==3.3.0
+linkify-it-py==1.0.3
 lxml==4.9.0
+markdown-it-py==2.1.0
 markupsafe==2.1.1
-matplotlib-inline==0.1.3
-mistune==0.8.4
+matplotlib==3.5.2
+mdit-py-plugins==0.3.0
+mdurl==0.1.1
+monotonic==1.6
+multidict==6.0.2
 murmurhash==1.0.7
-nbclient==0.6.4
-nbconvert==6.5.0
-nbformat==5.4.0
-nest-asyncio==1.5.5
 networkx==2.8.2
 newspaper3k==0.2.8
 nltk==3.7
-notebook==6.4.11
 numpy==1.22.4
 numpy==1.22.4; platform_machine != "aarch64" and platform_machine != "arm64" and python_version < "3.10"
 numpy==1.22.4; platform_machine == "aarch64" and python_version < "3.10"
 numpy==1.22.4; platform_machine == "arm64" and python_version < "3.10"
+orjson==3.7.0
 packaging==21.3
 pandas==1.4.2
-pandocfilters==1.5.0
-parso==0.8.3
+paramiko==2.11.0
 pathy==0.6.1
-pexpect==4.8.0; sys_platform != "win32"
-pickleshare==0.7.5
 pillow==9.1.1
 preshed==3.0.6
-prometheus-client==0.14.1
-prompt-toolkit==3.0.29
-protobuf==3.20.1
-psutil==5.9.1
-ptyprocess==0.7.0
-ptyprocess==0.7.0; os_name != "nt"
-pure-eval==0.2.2
-py==1.11.0; implementation_name == "pypy"
-pyarrow==8.0.0
 pycparser==2.21
+pycryptodome==3.14.1
 pydantic==1.8.2
-pydeck==0.7.1
-pygments==2.12.0
-pympler==1.0.1
+pydub==0.25.1
+pynacl==1.5.0
 pyparsing==3.0.9
 pyphen==0.12.0
-pyrsistent==0.18.1
 python-dateutil==2.8.2
-pytz-deprecation-shim==0.1.0.post0
+python-multipart==0.0.5
 pytz==2022.1
-pywin32==304; sys_platform == "win32" and platform_python_implementation != "PyPy"
-pywinpty==2.0.5; os_name == "nt"
 pyyaml==6.0
-pyzmq==23.1.0
 regex==2022.6.2
 requests-file==1.5.1
 requests==2.27.1
-rich==12.4.4
 scikit-learn==1.1.1
 scipy==1.8.1
-semver==2.13.0
-send2trash==1.8.0
+setuptools-scm==6.4.2
 sgmllib3k==1.0.0
 six==1.16.0
 smart-open==5.2.1
-smmap==5.0.0
+sniffio==1.2.0
 soupsieve==2.3.2.post1
 spacy-legacy==3.0.9
 spacy-loggers==1.0.2
 spacy==3.3.0
 srsly==2.4.3
-stack-data==0.2.0
-streamlit==1.10.0
-terminado==0.15.0
+starlette==0.19.1
 textacy==0.12.0
 thinc==8.0.17
 threadpoolctl==3.1.0
-tinycss2==1.1.1
 tinysegmenter==0.3
 tldextract==3.3.0
-toml==0.10.2
+tomli==2.0.1
 toolz==0.11.2
-tornado==6.1
 tqdm==4.64.0
-traitlets==5.2.2.post1
 typer==0.4.1
 typing-extensions==4.2.0
-typing-extensions==4.2.0; python_version < "3.9"
-tzdata==2022.1; python_version >= "3.6"
-tzlocal==4.2
+typing-extensions==4.2.0; python_version < "3.10"
+uc-micro-py==1.0.1
 urllib3==1.26.9
-validators==0.19.0
+uvicorn==0.17.6
 wasabi==0.9.1
-watchdog==2.1.8; platform_system != "Darwin"
-wcwidth==0.2.5
-webencodings==0.5.1
-widgetsnbextension==3.6.0
-zipp==3.8.0
-zipp==3.8.0; python_version < "3.10"
+yarl==1.7.2