Upload 11 files

app.py

@@ -4,18 +4,29 @@ import sentiment_parser as sp
 import network_builder as nb
 from pyvis.network import Network
 import streamlit.components.v1 as components
-# import altair as alt
+import word_transformations as wt
 
 st.title('Автоматический аннотатор')
 
-st.markdown("Скопируйте текст дневика в это поле или выберите для теста один из подготовленных отрывков.")
+# st.markdown("Скопируйте текст дневика в это поле или выберите для теста один из подготовленных отрывков.")
+
+txt = st.text_area('Скопируйте текст дневика в это поле', height=100)
+
+option = st.selectbox(
+    'Или выберите один из тестовых текстов дневников:',
+    ('Выбрать...', 'Анатолий Василивицкий', 'Мария Германова'))
+
+if option == 'Анатолий Василивицкий':
+    with open('test_1.txt', 'r') as f:
+        txt = f.read()
+elif option == 'Мария Германова':
+    with open('test.txt', 'r') as f:
+        txt = f.read()
 
 
-with open('test.txt', 'r') as f:
-    TEST = f.read()
 # diary = st.text_area('Текст дневника')
-if st.button('Быстрая обработка на тестовом тексте '):
-    df = d.analyze(TEST)
+if st.button('Обработать') and txt != '':
+    df = d.analyze(txt)
     # st.dataframe(df)
     # for_chart = sp.data_for_sentiment_chart(df).set_index('n_date')
     # st.markdown('### График сентимента по записям дневника (тест)')
@@ -23,6 +34,10 @@ if st.button('Быстрая обработка на тестовом текст
     # st.experimental_memo.clear()
     graph = nb.build_graph(df)
 
+    GENDER = wt.get_gender(df['tokens'])
+
+    st.markdown(f'**Аннотация этого дневника:** {nb.annotation(graph, GENDER)}')
+
     textnet = Network( height='400px',
                        width='100%',
                        bgcolor='white',

diary.py

@@ -2,7 +2,8 @@ import date_parser as dp
 import preproc
 import category_parser as cp
 import sentiment_parser as sp
-import streamlit as st
+import word_transformations as wt
+
 
 # def get_gender(tokens):
 #     r = [token.feats['Gender'] for sent in tokenizing(text) for token in sent if (token.feats.get('Gender') and token.feats.get('Voice')) ]
@@ -19,8 +20,7 @@ def analyze(text):
     diary['tokens'] = diary['text'].apply(lambda text: preproc.tokenizing(text))
     
     # # Выделение фактов из текста
-    diary['loc_facts'] = diary['tokens'].apply(lambda tokens: cp.get_facts(tokens, 'locations'))
-    # diary['loc_words'] = diary['tokens'].apply(lambda tokens: cp.get_mentioned_words(tokens, 'locations'))
+    diary['locations'] = diary['tokens'].apply(lambda tokens: cp.get_facts(tokens, 'locations'))
 
     # Определение сентимента по записям
     # diary['sent'] = diary['tokens'].apply(lambda tokens: sp.get_overall_sentiment(tokens))

network_builder.py

@@ -1,8 +1,10 @@
 import networkx as nx
+from collections import Counter
+import word_transformations as wt
 
 
 def build_graph(df):
-    G = nx.Graph()
+    G = nx.DiGraph()
 
     # Связывание дат 
     for previous, current in zip(df['date_start'], df['date_start'][1:]):
@@ -11,11 +13,61 @@ def build_graph(df):
         G.add_edge(previous, current)
 
     # Добавление связей дат и фактов, фактов и слов
-    for index, row in df[['date_start', 'loc_facts']].iterrows():
-        for fact in row['loc_facts']:
+    for index, row in df[['date_start', 'locations']].iterrows():
+        for fact in row['locations']:
             G.add_node(fact[0], group="Category_word", color = "green")
             G.add_node(fact[1], group="Fact", color = "red")
             G.add_edge(row['date_start'], fact[1])
             G.add_edge(fact[0], fact[1])
 
-    return G
+    return G
+
+
+def dates_of_Diary_writing(G):
+    dates = [key for key, value in G.nodes.data() if value.get('group') == 'Date']
+    start = ''
+    stop = ''
+    for d in dates:
+        if not [i for i in G.predecessors(d)]:
+            start = d
+        elif not [i for i in G.successors(d) if G.nodes.data()[i]['group'] == 'Date']:
+            stop = d
+    return (start, stop)
+
+
+def most_visited_places(G):
+    res = Counter()
+    for key, value in G.nodes.data():
+        if value.get('group') == 'Category_word':
+            res[key] = len(G[key])
+    return [i[0] for i in Counter(res).most_common(3)]
+
+
+def facts_for_annotation(G, gender, most_places):
+    '''
+    Собирает лист из фактов и его даты упоминания
+    '''
+    res = Counter()
+    for key, value in G.nodes.data():
+            if value.get('group') == 'Category_word':
+                res[key] = len(G[key])
+    facts = [s for i in Counter(res).keys() for s in G.successors(i)]
+    
+    res = []
+    for fact in facts:
+        if wt.get_fact_to_annotation(fact, gender, most_places):
+                date = [i for i in G.predecessors(fact) if G.nodes()[i].get('group') == 'Date'][0]
+                res.append((date, fact))
+    return res
+
+
+def annotation(G, gender):
+    dates = dates_of_Diary_writing(G)
+    most_places = most_visited_places(G)
+    facts = facts_for_annotation(G, gender, most_places)
+
+    facts = ', '.join([f"{fact[1].lower()} ({fact[0]})" for fact in facts])
+
+    annotation = f'{wt.get_noun(gender).title()} этого дневника {wt.gender_transformer("вести", gender)} его с {dates[0]} по {dates[1]}. Наиболее часто {wt.get_pronoun(gender)} {wt.gender_transformer("описывал", gender)} {wt.inflector(most_places[0], "accs")}, {wt.inflector(most_places[1], "accs")} и {wt.inflector(most_places[2], "accs")}.\n\nВ дневнике упоминается, как {wt.get_noun(gender)} {facts}.'
+
+    return annotation

sentiment_parser.py

@@ -67,7 +67,6 @@ def get_most_sentiment(sentiment_index):
   sentiments = Counter(sentiments)
   return sentiments.most_common(1)[0][0]
 
-@st.experimental_memo
 def data_for_sentiment_chart(df):
     df = df.copy()
     df['n_date'] = df.apply(lambda row: 

test_1.txt

@@ -0,0 +1,91 @@
+1943
+
+24 марта. Челябинск
+
+Сегодня кончается третья четверть. Потом каникулы до 1/IV — неделю. Говорили с Москвой. Папка может предет в апреле. Хорошо бы приехал.
+Я немного болел. Теперь выздоровел. От класса отстал не намного. За каникулы догоню. Во дворе у нас несколько ребят уехало. Г.Л. обещала написать письмо. Посмотрим.
+Сегодня мне сообщили что И[нна].Д[митриева]. в меня втрескалась[.] Чтоб ей лопнуть! Неужели без любви нельзя обойтись. У наших ребят какое-то странное понимание о дружбе. Если увидят что стоишь и разговариваешь с какой-нибудь девочкой. Сразу дразнить: влюбился, влюбился. А для того что-бы влюбиться по моему надо подрасти. А у нас во дворе нет таких что-бы не перелюбились. В половине этого случая не исключая и меня.
+В школе то-же. Какие-то идиоты кругом. Как дикари. Ну, а я то-же не лучше. Я могу влюбиться сердцем, умом никогда.
+
+25 марта. «И в какой стороне я не буду по какой не пройду я тропе, друга я никогда незабуду если с ним подружился в Москве…» 
+Друга хорошего нельзя позыбыть не только если с ним подружишь в Москве.
+«В какой точке Союза не буду, и где не встречу мой друг я тебя, я тебя никогда не забуду, если ты не забудешь меня».
+«Я сейчас сижу в тюрьме и не светит
+Солнце мне, Кашмари, кашмари, кашмари[»].
+Эх! Не знаю что у меня на душе, что в животе я знаю там глисты, сегодня получил анализ кала.
+Чорт меня побрал! Что это на меня нашло такое настроение влюбленного. Ну, ка пошлю вон. Быть тебе только другом но…
+Опять!?
+Последнее время я не знаю что со мной творится, но примерно догадываюсь, [запись обрывается]
+
+5 апреля. Началась последняя четверть. А там испытания. Кончу 6-й кл[асс]. наверно в Челябинске. В апреле в Москву конечно не поедем.
+В выходной ходил стрелять в тир. Сдал на «Юный ворошиловский стрелок» .
+Книга — лучший друг мой. Но такие книги что я читаю не могут заменить друга — человека. Друг. Как это слово звучит для меня непривычно. О нем я могу лишь мечтать. Дружба. Я так нуждаюсь в тебе.
+
+10 апреля. Утром говорили с Москвой. Едем в Москву после оконч[ания]. учебного года. Папка наверное в мае приедет к нам в гости. Завтра выходной. Жаль, он пройдет без пользы. Такая скука.
+[Рисунок мушкетёра с бокалом]
+
+16 апреля. Дневник, я долгое время скрывал от тебя одну вещь. Я недоверял тебе. Думал ты можешь рассказать. Но сегодня я пишу. Я не могу скрывать. Я люблю А.Г.  Раз я уж начал писать то буду продолжать. Это было давно. Однажды я сидел на тумбе. Ко мне подошла Г.З.  и сказала что А.Г. меня любит. Во мне долго боролись два чувства: любовь и разум. И разум победил. Я сказал нет. Но это было бы хорошо. Однажды когда все были на улице я рассказал это. Да я это сделал! Теперь ты можешь понять дневник, как я раскаиваюсь в этом поступке.
+Теперь же я люблю её. Люблю как только может любит мое бедное сердце. Но что я могу теперь делать: одно горько жалеть о прошедшем. Теперь же я ловлю её слова, я смотрю на нее. Но я скрываю все. Я был у Ж.А. А.Г. с ним в одной квартире. Она вошла к нам с Наталией. Ада показала мне свой альбом для стихов и свои собственные стихи. Один стих выражал ею чувства которые она переживала в те дни когда я над ней издевался. Я чувствовал что этот стих посвящен мне. Да я горько сожалею о зсделаном. Прошедшего не воротить.
+
+21 апреля.
+>И в кого я такой уродился?
+>Со своим характером таким.
+>Стоит мне в девушку влюбиться,
+>А она уже идет с другим. 
+
+29 апреля. Я сделал в себе одно открытие. Любить я не могу. С А.Г. я бы хотел дружить. Да что говорить: «не все наши хотенья выполнять можно».
+
+2 мая. Ну вот и праздник прошел. Какая скука. Вчера вечерном я долго разговаривал с Н[аташа].П[люснина]. так у нас во дворе, а, вероятно, первый разговариваю с девочкой. Она мне многое рассказала о А.Г. и я понял как я виноват перед ней.
+
+6 мая. Через две недели испытания. Пора бы готовититься.
+
+8 мая. Мы вчера с Адой объяснились. Я ей проиграл «американку[»] . Она мне загодала «С кем ты хочешь дружить?» Я ответил чтобы она спросила у Н[аташа].П[люснина]. Она ответила правду.
+Вчера Ж.А. подозвал меня и говорит что он видал дневник А[ды]., на последней страничке было написано: «Наконец, я узнала что меня любит Толя».
+
+16 мая. Последний выходной перед испытаниями. 20/V — алгебра. Папка приезжает 20/V. Я долгое время не понимал что такое любовь, теперь я это прекрасно понимаю.
+[прикреплена фотография автора]
+
+>Не все думают так как смотрят
+>У них свой интерес впереди
+>Тебе если будет горько
+>Рукой от сердце зажми
+>Отнимишь руку — прослушают
+>Все мысли твои, всю печаль
+>Потом головой покочают
+>И расскажут друзьям невначай.
+
+Дневник, милый мне так хочется иметь друга, хорошего друга. О, Зоя, ты была и вероятно будешь моим единственным другом. А сейчас я один совершенно один и некому мне излить души.
+
+[на уголке страницы: «ПУСТЬ 1943 год ОСТАНЕТСЯ У МЕНЯ В ПАМЯТИ КАК ГОД СВЕ[Т]ЛЫХ ВОСПОМИНАНИЙ
+1943 г. БЫЛ ГОДОМ МОЕЙ ПЕРВОЙ ЛЮБВИ
+6/V—1943 г.»]
+
+19 мая. Завтра алгебра. Сегодня сижу и повторяю, в 3 ч. на консультацию. Всего 7 испыт[аний]. Завтра приезжает папка.
+
+20 мая. Сдал алгебру. На отлично. Папка еще не приехал
+
+25 мая. У А.Г. есть подруга Г.З. Очень хорошая девочка. Я с ней два дня назад долго разговаривал. Под конец я сказал, то что было того трудно воротить. Галя ответила два слова: «Да, охлождена».
+Здал алгебру, географию и в/д  на отлично, а русский письменный на хорошо.
+Мне очень хочется написать о каждом(ой) из нашего двора.
+
+Наташа Плюснина.
+Приехала из Москвы. Очень хорошая девочка. Не воображает, не сплетничает. Простая и открытая. Мечтает иметь хорошего друга и поехать в Москву. С ней я часто разговаривал открыто и она знает все. Но несмотря на это не дразнится как это сделали бы другие. В общем я о ней самого хорошего мнения. [поздняя приписка — «Уехала в Москву. 3/VI—1943 г.»]
+
+Инна Дми��риева. Приехала из Москвы. Инна и Наташа это две противоположности. Она считает себя красавицей и думает что в неё все влюбились. У меня с ней были частые ссоры (и будут). Если я кого нибудь ненавидел то это её. Однажды она при всех выказала опасение что из-за нее подеруться на финках. [поздняя приписка — «Уехала в Москву 2/VI—1943 г.»]
+[оставлено место для других записей]
+
+2 июня. Сегодня исторический день.
+И[нна].Д[митриева]. и Н[аташа].П[люснина]., а также другие уехали в Москву. Стало так скучно. Погоды поршивые. Тоска, скука. В дневнике я пишу сухими казенными словами. А как хочется его забросить к чорту на рога. А все таки жаль. Ада подорила мне свою фотографию. Я прямо радуюсь «как ребенок».
+Я ехал на вокзал провожать ребят. Наташа много плакала, Ада немножко, плакала она из-за расставания с подругой и еще из-за какой-то тайны покрытой мраком.
+
+7 июня. Делать нечего. Скука. Лежу и читаю. Так хочется в Москву. Мама говорит что поедем в начале июля.
+
+16 июня. Дел за последнее время много. Образовали об[щест]во аТОС (тайная организ[ация] сороконожек).
+Сегодня поднял шухер . Разбил стекло (4-е за неделю). Приходил мент. Я оторвался. Не знаю что будет. Завтра покажет. Я не боюсь и на все плюю.
+Сороконожки действуют!
+
+20 июня. Сегодня ходил в театр. Смотрел «Чужой ребенок» . Комедия. Кончил читать Дж. Лондона . Замечательные рассказы. Последнее время я очень хочу в Москву. У меня такое настроение что я могу сделать глупость…
+
+26 июня. Вероятно скоро поеду в Москву.
+
+2 июля. Говорили с Зоей. Завтра высылает мой пропуск . Наконец я отсюда уеду С[лава]. Б[огу].!

word_transformations.py

@@ -0,0 +1,87 @@
+'''
+Методы преобразования слов для аннотаций
+'''
+import pymorphy2
+from collections import Counter
+
+morph = pymorphy2.MorphAnalyzer()
+
+# Определение пола автора по тексту
+def get_gender(tokens):
+    '''
+    Определение пола автора по тексту
+
+    Возвращает ``Fem`` — женский род, ``Masc`` — мужской род.
+    '''
+    gender = []
+    for i in [token for sent in tokens for token in sent]:
+        for token in i:
+            if token.feats.get('Gender') and token.pos == 'VERB':
+                gender.append(token.feats.get('Gender'))
+    return Counter(gender).most_common(1)[0][0]
+
+def inflector(word, case):
+    '''
+    Склонение существительных по падежам.
+
+    word : существительное
+
+    case : падеж
+
+    `nomn` – именительный
+    `gent` — родительны
+    `datv` — дательный
+    `accs` — винительный
+    `ablt` — творительный
+    `loct` — предложный
+    '''
+    return morph.parse(word)[0].inflect({case}).word
+
+
+def gender_transformer(verb, gender):
+    '''
+    Преобразование глагола в нужный род прошедшего времени
+    '''
+    # Преобразование формата рода Natasha к pymorphy2
+    if gender == 'Fem' : gender = 'femn'
+    else: gender = 'masc'
+
+    # Если автор пишет о себе в первом лице "Я пишу..."
+    # if {'1per'} in morph.parse(verb)[0].tag:
+    for w in morph.parse(verb)[0].lexeme:
+        if {gender, 'past', 'VERB'} in w.tag: 
+            return w.word
+
+
+def get_pronoun(gender):
+    if gender == 'Fem': return 'она'
+    else: return 'он'
+
+
+def get_noun(gender):
+    if gender == 'Fem': return 'авторка'
+    else: return 'автор'
+
+
+def get_fact_to_annotation(fact, gender, most_mentioned_word):
+    '''
+    Проверяет, нужно ли взять факт в аннотацию
+
+    Пока работает, если глагол в нужном лице и роде и не упоминается распространённое место.
+    '''
+    if gender == 'Fem' : gender = 'femn'
+    else: gender = 'masc'
+    flag = False
+    for word in fact.split(' '):
+        for form in morph.parse(word):
+            # Если глагол прошедшего времени
+            if {gender, 'VERB'} in form.tag:
+                flag = True
+            # Если глагол от "первого лица"
+            if {'1per', 'sing', 'VERB'} in form.tag:
+                flag = True
+            if form.normal_form in most_mentioned_word:
+                return False
+            if form.normal_form in ['она', 'он']:
+                return False
+    return flag