macrdel commited on
Commit
0c25a63
1 Parent(s): ac8f9e9

add pipeline of statistics

Browse files
Files changed (2) hide show
  1. app/src/src.py +5 -1
  2. data/dataset_sentiments.csv +0 -101
app/src/src.py CHANGED
@@ -55,4 +55,8 @@ def pipeline_sentiment(url_video, api_key, model):
55
 
56
  text_tuple = [get_sentim(i, model) for i in comments_df["text_comment"]]
57
  comments_df[["sentiment", "score"]] = pd.DataFrame(list(text_tuple))
58
- return comments_df
 
 
 
 
 
55
 
56
  text_tuple = [get_sentim(i, model) for i in comments_df["text_comment"]]
57
  comments_df[["sentiment", "score"]] = pd.DataFrame(list(text_tuple))
58
+ return comments_df
59
+
60
+ def pipeline_stats(data):
61
+ """Get statistic of sentiment"""
62
+ return data['sentiment'].value_counts(normalize=True) * 100
data/dataset_sentiments.csv DELETED
@@ -1,101 +0,0 @@
1
- text_comment,publish_data,sentiment,score
2
- "В итоге, уважаемые В какой литературе есть математический анализ? Крое Томаса Нилд",2023-12-16T11:57:32Z,NEGATIVE,0.751556932926178
3
- "Доброго времени суток! Решил погрузиться в тему практически с нуля. На базовом уровне освоил python. Сейчас заказываю книги из Вашего топа. ""Проектирование систем машинного обучения"" Чип Хюйен - уже есть на русском, ура!) Благодарю за просветительские труды)",2023-09-23T21:00:13Z,POSITIVE,0.9799962043762207
4
- "Здравствуйте. А не могли бы вы подсказать какую нибудь альтернативу первой книге в видео, касающийся математики в data science, но на русском языке?",2023-05-02T15:40:37Z,NEUTRAL,0.8072439432144165
5
- "Думаю питон - это вчерашний день. А где книга написана нейросетью промтинге - Это слово мне вообще Пришлось написать руками. Распознание речи его ещё не понимает. А вчера спрашивал у одной нейросети В начале выдала мне книги которые написаны про нейросети, Потом по извинялась И сказала что Таких книг нет",2023-03-30T15:16:45Z,NEGATIVE,0.7514768838882446
6
- "Анастасия, подскажите пожалуйста, в какой порядке изучать эти книги, или в том порядке в каком в видео? И каждая тут книга разная по теме, или есть некоторые, которые не обязательно читать после прочтение другой(например из-за почти одной и той же информации)",2022-12-14T23:01:19Z,NEUTRAL,0.8253567218780518
7
- "В описании задваивается ""01:35 Кому будет полезна книга Essential Math for Data Science""",2022-11-27T23:21:00Z,NEUTRAL,0.815131425857544
8
- "Напишу небольшой отзыв о книге essential math for ds: так вот, книга действительно написано просто и непринужденно, ее легко читать как вполне себе художественную литературу, с одним ""но"": если вы когда-то это проходили и вам ну хоть примерно это всё знакомо. У меня в универе был курс ""обработка результатов измерений"", вполне себе хороший курс, я бы даже сказал тот преподаватель вполне мог бы его продавать как ""математику для дс"".",2022-11-23T11:56:15Z,POSITIVE,0.9744828939437866
9
- "Анастасия доброго времени суток, изучаю Data Science, в одном из Ваших видео вы говорили в какие специалисты сечас больше востребованы, напомните пожалуйста.",2022-11-18T13:14:51Z,NEUTRAL,0.817676305770874
10
- "Ответ: Практическая статистика для специалистов Data Science. Здравствуйте! Спасибо большое за ваш труд! Я считаю, что обучение в новой сфере стоит начинать именно с чтения хороших структурированных книг. Получить целый список полезной литературы от специалиста это настоящий подарок! В следующем году я получу диплом по специальности ""прикладная математика"" и очень надеюсь, что эта литература поможет найти мне первую работу в data science.",2022-11-17T19:51:54Z,POSITIVE,0.957038164138794
11
- Смотрю канал исключительно из-за НЕЁ. Параллельно изучаю еще и науку😀,2022-11-17T18:17:51Z,NEUTRAL,0.5079010128974915
12
- "Здравствуйте! А можете подсказать ресурс с примерами хороших презентаций по DataScience проектам?🔍 PS мне поставили задачу сделать ""мажорную"" презентацию по проекту поиска аномалий, Stackoverflow по запросу ""мажорная презентация"" ничего приличного не выдал🤔",2022-11-16T06:33:05Z,POSITIVE,0.9889710545539856
13
- Нашёл Вас у PyLounge. Спасибо огромное за видео!,2022-11-16T03:13:26Z,POSITIVE,0.9777055382728577
14
- """Практическая статистика для специалистов Data Science"". Спасибо за видео)",2022-11-15T23:08:51Z,POSITIVE,0.9906728863716125
15
- "Боже, для аналитики данных нужно знать алгебру?",2022-11-14T18:15:34Z,NEUTRAL,0.8230707049369812
16
- спасибо!,2022-11-14T08:43:51Z,POSITIVE,0.9807105660438538
17
- Практическая статистика для специалистов Data Science.,2022-11-14T07:24:27Z,NEUTRAL,0.8179630041122437
18
- "Проанализировав выборку ответов выдвину гипотезу, что эта книга: Практическая статистика для специалистов Data Science.",2022-11-14T07:23:18Z,NEUTRAL,0.8068166971206665
19
- "Практическая статистика для Data Science На данный момент читаю python для сложных задач,крайне интересная книга. Можно сказать всегда со мной,тк в вузе тема научно исследовательской работы связана с диагностикой рака молочных желез с помощью машинного обучения. Книга по статистике другая на данный момент под рукой-«анализ данных на компьютере» Тюрин",2022-11-13T21:07:37Z,NEUTRAL,0.7658045291900635
20
- Практическая статистика для специалистов Data Science. Спасибо Вам за подборку книг!,2022-11-12T23:17:37Z,NEUTRAL,0.780190646648407
21
- "Есть ссылка на издание книги ""Python и машинное обучение"" с Pytorch на русском языке? Что-то не нашел((",2022-11-12T21:31:03Z,NEGATIVE,0.9949057102203369
22
- Практическая статистика дня специалистов data science,2022-11-11T18:39:55Z,NEUTRAL,0.8285876512527466
23
- "Спасибо за подборку. ""Практическая статистика для Data Science"" .",2022-11-11T18:14:47Z,POSITIVE,0.9548747539520264
24
- "Практическая статистика для специалистов Data Science. Давно искал ролик, где будет все разложено по фактам. Спасибо",2022-11-11T07:33:59Z,NEUTRAL,0.8178434371948242
25
- "Спасибо за отличный обзор книг и проделанную вами работу, обязательно буду изучать. Надеюсь выиграть в викторине ""Практическая статистика для специалистов Data Science"" Питер Брюс, Питер Гедек, Эндрю Брюс",2022-11-11T04:25:39Z,POSITIVE,0.9810178279876709
26
- Пошел откладывать книги в корзину маркетплейсов... Но можно и выиграть одну ) «Практическая статистика для специалистов Data science”,2022-11-10T11:07:13Z,POSITIVE,0.9906885623931885
27
- "Анастасия, позвольте нескромный вопрос? Вы правильные ответы вручную отмечаете или скриптом?)😅",2022-11-10T10:01:41Z,POSITIVE,0.9906858801841736
28
- Практическая статистика для специалистов Data Science,2022-11-10T06:00:08Z,NEUTRAL,0.8284438848495483
29
- Спасибо за подборку! Ответ: Практическая статистика для специалистов Data science.,2022-11-10T04:05:22Z,POSITIVE,0.957554817199707
30
- "Почему такая красивая и такая умная??)) Ты с другой планеты?))) Мне сейчас по работе приходится осваивать Java c её фреймворками, сервлетами, хибернетами и так далее. Как это освою, возьмусь за Питон и Дейта Сайенс.",2022-11-09T22:37:01Z,POSITIVE,0.6333404779434204
31
- Спасибо вам за отличную проделанную работу! Практическая статистика для специалистов Data Science.,2022-11-09T19:09:31Z,POSITIVE,0.9813429713249207
32
- Практическая статистика для специалистов Data science. Спасибо за поддержку! Хотел ее услышать от уже практикующих специалистов,2022-11-09T18:56:08Z,POSITIVE,0.8246492743492126
33
- Практическая статистика для специалистов Data Science.,2022-11-09T18:04:57Z,NEUTRAL,0.8179630041122437
34
- Практическая статистика для специалистов Data Science.,2022-11-09T17:56:38Z,NEUTRAL,0.8179630041122437
35
- "Берешь книгу и идешь по ней, не бросая, каждый день понемногу, гуглишь непонятные моменты, если надо - ищешь схожие примеры, но идешь вперед. Только так. Идеальных книг нет, везде что-то лучше, что-то хуже. Главное идти до конца, не бросать, не переключаться с одной на другую.",2022-11-09T11:25:49Z,NEGATIVE,0.7514923810958862
36
- "Спасибо за список, буду изучать! Книга для участия в розыгрыше называется ""Практическая статистика для специалистов Data Science""",2022-11-09T10:59:01Z,POSITIVE,0.9807114005088806
37
- "Практическая статистика для специалистов Data Science Питер Брюс, Питер Гедек, Эндрю Брюс. Добавил в свою подпорку пару книг из видео",2022-11-09T10:52:12Z,NEUTRAL,0.8182533383369446
38
- "А почему нет книги Джоэла Граса на русском Data Science? Я купил на Озоне месяц назад 2-е Издание ""Наука о данных с нуля"".",2022-11-09T09:52:05Z,NEUTRAL,0.8211252093315125
39
- """Практическая статистика для специалистов Data Science"".",2022-11-09T05:51:32Z,NEUTRAL,0.81913161277771
40
- "Вобщем почитал я немного книжку эту ""Практическая статистика для специалистов Data Science"" Питер Брюс. Чессгря не пошла чего-то. На эту тему книжка ""The Elements of Statistical Learning"" Trevor Hastie, Robert Tibshirani, Jerome Friedman нравится больше.",2022-11-08T19:21:34Z,NEUTRAL,0.7770033478736877
41
- Как раз недавно искала что почитать по этой теме Ответ на вопрос: Практическая статистика для специалистов Data Science,2022-11-08T16:53:04Z,NEUTRAL,0.8109807968139648
42
- «Практическая статистика для специалистов Data Science» — давно на нее засматриваюсь ;),2022-11-08T15:36:35Z,POSITIVE,0.9906863570213318
43
- Практическая статистика для специалистов DS Спасибо за видео 💫,2022-11-08T12:42:15Z,NEUTRAL,0.8237556219100952
44
- "Очень интересно, нигде не могу найти первую книгу. Уже всё перерыл, может у кого есть?",2022-11-08T10:14:39Z,NEGATIVE,0.7512878179550171
45
- "Ответ для викторины: Практическая статистика для специалистов Data Science. Питер Брюс, Эндрю Брюс, Питер Гедек. Спасибо за прекрасный и очень полезный обзор.",2022-11-08T09:27:29Z,POSITIVE,0.9720815420150757
46
- "Большое спасибо за такую подборку, очень детализированная подача. Если есть возможность, хотелось бы такую подборку и по Дата Аналитике увидеть :)",2022-11-08T07:38:39Z,POSITIVE,0.9906883239746094
47
- """Практическая статистика для специалистов Data Science"".",2022-11-08T07:09:09Z,NEUTRAL,0.81913161277771
48
- Практическая статистика для специалистов Data Science Спасибо за подборку!,2022-11-08T06:37:32Z,NEUTRAL,0.8249239325523376
49
- Практическая статистика для специалистов data science,2022-11-08T05:51:51Z,NEUTRAL,0.8288936018943787
50
- Поздравляю 🎉🎊💍,2022-11-08T05:47:21Z,POSITIVE,0.7225796580314636
51
- """Практическая статистика для Data Science"" . очень хочу выиграть)) спасибо за ролик)",2022-11-08T05:06:30Z,POSITIVE,0.9813588261604309
52
- Практическая статистика для специалистов data science,2022-11-08T03:04:02Z,NEUTRAL,0.8288936018943787
53
- "Здравствуйте! Если нет практического опыта в программировании, и вузовского образования, но есть ""баловство"" в html/css, то какие курсы вы рекомендуете? какие реальные сроки по продолжительности должны быть на этих курсах?",2022-11-08T00:04:34Z,NEUTRAL,0.8182204365730286
54
- "Сталкивался почти со всеми книгами и они слабенькие мягко говоря, кроме Буркова - это огонь, рекомендую всем и последняя книга тоже пушка. Анастасия, хорошо выглядите)",2022-11-07T23:38:01Z,POSITIVE,0.9906837940216064
55
- Практическая статистика для специалистов Data Science,2022-11-07T23:08:50Z,NEUTRAL,0.8284438848495483
56
- """Практическая статистика для Data Science"" . Замечательная подборка книг. С английским точно необходимо поработать . Спасибо. Самый лучший канал по Data Science! Вы как всегда на высоте!",2022-11-07T22:56:20Z,POSITIVE,0.9811609387397766
57
- Спасибо Анастасия.,2022-11-07T22:55:11Z,POSITIVE,0.9737608432769775
58
- "Нашел вас благодаря PyLounge и очень этому рад. Спасибо что делитесь опытом и даете наставления новичкам в сфере. Информации о DS на ру ютубе как будто не очень много, что уж говорить о том с чего начинать, как найти вектор развития и тп Ответ на вопрос конкурса - практическая статистика для специалистов Data Science",2022-11-07T22:16:24Z,NEUTRAL,0.7242584228515625
59
- "Спасибо, очень нужная подборка) А книга : “Практическая статистика для специалистов Data Science”",2022-11-07T21:57:19Z,POSITIVE,0.9814183712005615
60
- "Спасибо за прекрасный обзор литературы! Ответ: ""Практическая статистика для специалистов Data Science"" Питер Брюс, Питер Гедек, Эндрю Брюс",2022-11-07T21:19:10Z,POSITIVE,0.9581949710845947
61
- Практическая статистика для специалистов Data Science. Отличное видео),2022-11-07T20:44:18Z,POSITIVE,0.6909979581832886
62
- "Ответ: ""Практическая статистика для специалистов Data Science Питер Брюс, Питер Гедек, Эндрю Брюс"". Спасибо за видео!",2022-11-07T20:11:02Z,NEUTRAL,0.8065697550773621
63
- "Практическая статистика для специалистов Data Science Эндрю Брюс, Питер Брюс, Питер Гедек",2022-11-07T20:03:52Z,NEUTRAL,0.8215498328208923
64
- "Практическая статистика для data science. Спасибо за обзор литературы, очень полезно",2022-11-07T19:09:02Z,POSITIVE,0.9528022408485413
65
- Спасибо!,2022-11-07T18:48:50Z,POSITIVE,0.9795294404029846
66
- Самую главную книгу для data science забыли указать - учебник английского языка),2022-11-07T18:47:13Z,POSITIVE,0.9906854033470154
67
- "Ответ:Практическая статистика для специалистов Data Science Анастасия, спасибо большое за краткие обзоры каждой из книг! Оказалось очень полезным.",2022-11-07T18:29:31Z,POSITIVE,0.9370754957199097
68
- "Лайкпадпискакалакольчек (вру, колокольчик никогда не нажимаю и большинство чатов у меня замьючены). <Спустя 30 минут>: Короче, в наивной надежде, что есть источник, где написано понятно: вот формула, вот расшифровка, купил я на литрес ""Практическая статистика для специалистов Data Science Питер Брюс, Питер Гедек, Эндрю Брюс"" (Да, это правильный ответ на твой вопрос. Точнее не правильный, но ты подразумевала, что он правильный). Открываю главу про Т критерий и вижу формулу, которую ""Попытка глубже понимать уже попахивает литром"". В биномиальном распределении нет даже хоть какой-нибудь завалящейся формулы. Зато есть объяснение на кучу строк с примером реализации вычислений через т.н. ""черный ящик"" (При этом объяснить разницу между pmf и cdf авторы нужным не посчитали). Иными словами, после прочтения этой книги, вы будете прекрасно понимать, что такое нормальное распределение, но будете не в состоянии посчитать вручную даже простенький доверительный интервал для нормального распределения. Прошу поправить, если ошибаюсь. И возможно кто-то все же знает книгу/сайт/справочник, где без лишней воды написано что-то практичес��и полезное?",2022-11-07T18:28:52Z,NEGATIVE,0.7514646649360657
69
- "Практическая статистика для специалистов Data Science. Анастасия, большое спасибо Вам за то, что делитесь знаниями и информацией! 🌹",2022-11-07T18:01:24Z,POSITIVE,0.9801817536354065
70
- Практическая статистика для специалистов Data Science,2022-11-07T17:58:49Z,NEUTRAL,0.8284438848495483
71
- Практическая статистика для специалистов Data Science - ответ на вопрос) Мне её кстати тоже советовал кто-то,2022-11-07T17:45:00Z,POSITIVE,0.9804360866546631
72
- Ответ на викторину: Практическая статистика для специалистов Data Science. Спасибо за видео! Все книги интересны. Где взять время на их чтение только вопрос.,2022-11-07T17:37:23Z,NEUTRAL,0.6508800387382507
73
- Практическая статистика для специалистов Data Science,2022-11-07T16:54:20Z,NEUTRAL,0.8284438848495483
74
- "Книга для розыгрыша: 04:06 Практическая статистика для специалистов Data Science Питер Брюс, Питер Гедек, Эндрю Брюс",2022-11-07T16:51:02Z,NEUTRAL,0.8218705058097839
75
- "Анастасия, благодарю за подборку. Ответ: Практическая статистика для специалистов Data Science.",2022-11-07T16:41:23Z,POSITIVE,0.9788368344306946
76
- Практическая статистика для специалистов Data Science,2022-11-07T16:26:58Z,NEUTRAL,0.8284438848495483
77
- "Практическая статистика для специалистов Data science Питер Брюс, Питер Гедек, Эндрю Брюс Спасибо за видео 💖",2022-11-07T16:20:45Z,NEUTRAL,0.550773024559021
78
- "Ответ: ""Практическая статистика для специалистов Data Science"". Спасибо за видео!",2022-11-07T16:20:28Z,NEUTRAL,0.7987635135650635
79
- Практическая статистика для специалистов Data Science,2022-11-07T16:15:48Z,NEUTRAL,0.8284438848495483
80
- "Практическая статистика для специалистов Data Science. Анастасия, спасибо за прекрасную подборку!🙃",2022-11-07T16:03:13Z,POSITIVE,0.9812729358673096
81
- От года до 5 лет ещё добавить,2022-11-07T16:02:00Z,NEGATIVE,0.7512192130088806
82
- "Большое спасибо за подбор книг, как раз что чего не хватало ответ: Практическая статистика для специалистов Data Science",2022-11-07T15:53:26Z,POSITIVE,0.9807986617088318
83
- "Конкурс: Практическая статистика для специалистов Data Science Питер Брюс, Питер Гедек, Эндрю Брюс",2022-11-07T15:38:04Z,NEUTRAL,0.8283320665359497
84
- "Практическая статистика для специалистов Data Science Питер Брюс, Питер Гедек, Эндрю Брюс",2022-11-07T15:15:49Z,NEUTRAL,0.821113646030426
85
- Практическая статистика для специалистов Data Science.Отличные книги.,2022-11-07T15:05:07Z,NEUTRAL,0.8192592263221741
86
- Практическая статистика для специалистов Data Science,2022-11-07T14:49:29Z,NEUTRAL,0.8284438848495483
87
- 👍👍👍,2022-11-07T14:44:33Z,POSITIVE,0.5916711091995239
88
- Практическая статистика для специалистов Data Science,2022-11-07T14:38:17Z,NEUTRAL,0.8284438848495483
89
- Конкурс: Необходимая математика для Data Science Томас Нилд,2022-11-07T14:26:57Z,NEUTRAL,0.8292148113250732
90
- "Практическая статистика для специалистов Data Science. Питер Брюс, Эндрю Брюс, Питер Гедек. Спасибо вам за подбор нужных книг и за интересное видео😊",2022-11-07T14:26:10Z,POSITIVE,0.553292989730835
91
- "Спасибо за то, что уделили внимание разбору книг Ответ: Практическая статистика для специалистов Data Science",2022-11-07T14:21:55Z,POSITIVE,0.9544379711151123
92
- """Практическая статистика для специалистов Data Science"". Классная подборка, спасибо за видео!",2022-11-07T13:56:24Z,POSITIVE,0.9491176009178162
93
- "Хотел бы ещё порекомендовать книгу ""Python и анализ данных"" | Маккини Уэс. Автор книги, собственно, автор библиотеки Pandas. И эта библиотека очень подробно р��зобрана в книге. Можно сказать – учебник по Pandas. Так же в книге освещается NumPy. Как говориться: ""Мой рекомендосьён""!",2022-11-07T13:07:07Z,NEUTRAL,0.6601881980895996
94
- "Практическая статистика для Data science Питер Брюс, Эндрю Брюс, Питер Гедек",2022-11-07T13:05:18Z,NEUTRAL,0.8208516240119934
95
- "Практическая статистика для специалистов Data Science Питер Брюс, Питер Гедек, Эндрю Брюс",2022-11-07T12:46:35Z,NEUTRAL,0.821113646030426
96
- Практическая статистика для специалистов Data Science. Спасибо за хорошую подборку книг.,2022-11-07T12:45:01Z,POSITIVE,0.9546443819999695
97
- Спасибо. Интересовался недавно именно о книгах для data science.,2022-11-07T12:35:52Z,POSITIVE,0.9519969820976257
98
- "Практическая статистика для специалистов Data Science Питер Брюс Питер Гедек Эндрю Брюс, является бестселлером среди книг по статистике Python и R выбирай, все удобства",2022-11-07T12:24:03Z,NEUTRAL,0.8212459683418274
99
- Практическая статистика для специалистов Data Science Питер Брюс Питер Гедек Эндрю Брюс,2022-11-07T12:19:18Z,NEUTRAL,0.8210787177085876
100
- Практическая статистика для специалистов Data Science!,2022-11-07T12:07:06Z,NEUTRAL,0.8149620294570923
101
- +,2022-11-07T12:05:49Z,POSITIVE,0.9647075533866882