examples/common.py

import math
from pathlib import Path
from typing import Dict, List

import spacy
from spacy import Language

NLP: Language = spacy.load("hu_core_news_trf")


def _compute_idf(freq_file: Path) -> Dict[str, float]:
    freqs: Dict[str, int] = {}
    with freq_file.open() as f:
        for line in f:
            line = line.strip()
            data: List[str] = line.split()
            if len(data) == 0:
                continue
            word: str = data[0]
            freq: int = int(data[-1])
            if not line.isalpha():
                freqs[word] = freq
    max_freq: int = freqs["a"]
    idfs: Dict[str, float] = {w: math.log2(max_freq / (float(f) + 1)) + 1 for w, f in freqs.items()}
    return idfs


IDF: Dict[str, float] = _compute_idf(Path(__file__).parent.parent / "resources" / "freq.list")

NEWS_EXAMPLES = [
    """A magyar futballválogatott negyedik Nemzetek Ligája mérkőzésén másodszor nyert, a hazai 1-0-s siker után idegenben 4-0-val megsemmisítette Angliát. Nagy győzelem volt, az enervált angolokat a saját közönségük fütyülte ki, miután a második félidőben el sem találták a kaput. 96 éve nem kaptak ekkora verést az angolok hazai pályán.
Az angol kapitány, Gareth Southgate kilenc helyen változtatott azon a csapaton, amelyik az olaszok ellen gól nélküli döntetlent játszott szombaton. Marco Rossi a kapuban cserélt, Dibusz Dénes állt a gólvonalon, Schäfer András visszatért a középpályára, miután a németek ellen letöltötte eltiltását. A 3-4-2-1-es felállás ezúttal sem változott. Ha végig akarja nézni helyszíni közvetítésünket, mit műveltek az angolok a Himnusz alatt, itt megteheti.
Az első helyzetre a hatodik percig kellett várni, akkor Kane passzából James húzott el a bal oldalon, középre adta a labdát, Bowen fejelt, Nagy Zsolt a helyén volt, és mentett.
Az első magyar lövés rögtön a kapuban landolt.
Szoboszlai ívelt be szabadrúgást a tizenhatoson belülre, Lang és Stone ugrott fel fejelni, a magyar védő megelőzte ellenfelét. A labda Kane talpa alatt elcsúszott, Sallai combbal átvette, azonnal lőtt 7 méterről, mielőtt még Phillips odaért volna, Ramsdale ugyan beleért, de kiütni már nem tudta. Szoboszlainak volt egy másik, sokkal közelebbről elvégzett szabadrúgása, amit igen veszélyesen lőtt be a kapu elé, James a gólvonalról mentett, Szalai Attila elől. A kipattanóból az angolok egy gyors kontrát vezettek, de a magyar tízes visszafutott, és a tizenhatoson belül szerelni tudott.
A magyar válogatott nem volt nagy nyomás alatt, az angolok akkor jártak legközelebb a gólhoz, amikor Orbán a 36. percben a saját kapuja felé fejelt, de Dibusz akkor is a helyén volt. A hazai szögletek veszélyesek voltak, de egyik sem annyira, hogy a szívünkhöz kellett volna kapnunk.
A második félidőben az angolok felgyorsították a játékukat, de igazán komoly helyzetet nem tudtak kialakítani, Rossi pedig már az 55. percben érezte, hogy frissíteni kell, és Szoboszlai helyére Gazdag, Styles helyére pedig Nagy Ádám állt.
Mivel a válogatott visszaállt, és fegyelmezetten zárta le a területeket, az angolok ötlettelen, olykor lassú adogatása veszélytelen volt. A csapat ezúttal is igazolta, mennyire képes megnehezíteni, megkeseríteni a riválisai dolgát.
A hajrában jött a varázslat Most azonban azt is igazolta, hogy egy pillanat alatt a kapu elé tud kerülni. A Szalai helyére beálló Ádám Martin megharcolt egy labdáért, megtartotta a térfél közepén, majd tökéletesen szöktette Sallait, aki a tizenhatoson belül állítgatás nélkül jobb külsővel elrúgta a labdát Ramsdale lába mellett.
A 77. percben Kane használható labdát kapott a szélről, kilenc méterről fejelt, a kapufáról pattant vissza a labda a mezőnybe, a center megpróbálta átvenni, de másodszorra már nem tudta, így odalett a helyzet. A 81. percben Magyarország berúgta a harmadik gólt.
Nego fejesét még hárították a védők, a kipattanót készítette le Ádám Martin a támadást kísérő Nagy Zsolt elé, aki 17 méterről külsővel, állítgatás nélkül, pazarul lőtte ki a jobb alsó sarkot. A 29 éves felcsúti védő ennek a 11 napnak a legnagyobb felfedezettje, mert a németek ellen is eredményes volt szombaton.
Stonest a hajrában még kiállították, a mieink nem törekedtek még jobban a gólkülönbség javítására, de magabiztosan passzolgattak, így Angliának esélye sem volt a szépítésre, miután alig volt náluk a labda. Hogy teljes legyen az angol KO, arról Gazdag Dániel gondoskodott, amikor egy nagy sprint után lazán átpörgette a labdát a kimozduló kapus felett.
Ha Anglia nem is veszi komolyan ezt a sorozatot, mert a novemberi vb-re készül, és egy fárasztó szezon végén már a legszívesebben pihennének a klasszisai, négy gólt biztosan nem akart kapni, mert így könnyen ki is eshetnek az A divízióból. Tavaly szeptemberben Eb-selejtezőn Anglia ugyanilyen arányban verte a mieinket a Puskás Arénában, ez most egy méltó visszavágás volt.
A csoport másik meccsén a németek 5-2-vel küldték haza az olaszokat, és ezzel feljöttek a második helyre.""",
    """A megszokott menetrenden kívül és váratlanul nagy mértékben emelt a jegybank az irányadó rátán. A forint a hírre 395 alá erősödött az euróval szemben.
7,25 százalékos kamattal hirdette meg a Magyar Nemzeti Bank (MNB) az egyhetes betéti tenderét – derül ki a jegybank által közzétett adatokból. Az egyhetes betét azt jelenti, hogy a bankok ezzel a rátával parkoltathatják a pénzüket egy hétig az MNB-ben. Mivel az egyhetes betéti eszköz kamata jelenleg magasabb, mint az alapkamat, valójában ez az irányadó ráta.
A kamatemelés váratlan, mind időzítését, mind mértékét tekintve. A jegybank ugyan kommunikációja szerint nyitva tartja a lehetőségét, hogy bármikor emeljen az egyhetes betét kamatán, azon a Monetáris Tanács havi kamatdöntő ülései után szokott emelni. A cél az, hogy idővel az alapkamat és az egyhetes betét kamata újra összezárjon. A kamatemelés így a bevett menetrenden kívüli. A mértéke is nagyobb a megszokottnál, az emelés 0,5 százalékpontos, miközben a jegybank egy ideje 0,3 százalékpontos lépésekkel haladt felfelé. Legutóbb márciusban volt 0,5 százalékpontos emelés, ekkor a ráta 5,35 százalékról 5,85 százalékra nőtt.
A Monetáris Tanács legutóbb május végén emelt az alapkamat szintjén, 5,4-ről 5,9 százalékra. Addig kell a kamatokat emelni, amíg az szükséges, hogy az inflációs célt fenntartható módon el tudjuk érni – mondta Virág Barnabás alelnök az alapkamat-emelés után. Az alelnök szerint a következő hónapokban várhatóan még tovább nő az infláció az áprilisi 9,5 százalékról, Virág elhúzódó infláció elleni harcot, a szigorúbb monetáris kondíciók tartós fenntartását ígérte.
A forint árfolyama mindenesetre jól reagált az egyhetesbetétkamat-emelésre, az euróval szemben a napi nyitó árfolyam 397,5 környékéről 395 alá erősödött. A megelőző napokban a forint sorra döntögette a negatív árfolyamrekordokat, az euróval szemben többször 400 fölött is járt. Jelenleg a történelmi mélypont 402,96.
""",
    """Jövőre nem lesz "ledolgozós" hétvége
2023-ban egyetlen szombati munkanap sem lesz.
Jövőre kétszer (húsvétkor és karácsonykor) lesz négynapos a hétvége. Emellett négyszer lesz háromnapos hosszú hétvége, mivel május 1-én, pünkösdkor, október 23-án, és az újévkor is egy-egy hétfővel bővülnek majd a hétvégi szabadnapok - ezt Koncz Zsófia, a Technológiai és Ipari Minisztérium új parlamenti államtitkára közölte egy Facebook-bejegyzésben, hangsúlyozva, hogy a munkarendet meghatározó minisztériumuk úgy döntött, hogy 2023-ban egyetlen egynapos, "ledolgozós” hétvége sem lesz.
Hogy mennyit ér egy munkanap, arról csak becsléseket lehet készíteni, és a statisztikusok legszívesebben erről is lebeszélnék a kísérletező kedvűeket. Nagyon leegyszerűsítve mondhatjuk azt: a GDP-t leosztva a munkanapok számával 160 milliárd forintot ér egy munkanap, de akkor még azt sem vettük figyelembe, hogy van munka azért hétvégéken is.
"""
]