Spaces:
Sleeping
Sleeping
File size: 27,045 Bytes
542285e 23097b5 e42b8e3 23097b5 e42b8e3 23097b5 480c4d5 26b6248 23097b5 480c4d5 68fe85e d9762c0 d51b983 23097b5 480c4d5 430ab8a 23097b5 d51b983 480c4d5 426b117 480c4d5 9fa869e 426b117 23097b5 426b117 23097b5 426b117 23097b5 426b117 23097b5 426b117 23097b5 426b117 23097b5 1d5f06c 426b117 23097b5 1d5f06c f3141ca 20b319d d589298 426b117 480c4d5 426b117 480c4d5 1d5f06c d589298 426b117 d589298 5b0824e d589298 426b117 4e18fb4 26b6248 4e18fb4 23097b5 d26f33a 3eb8290 480c4d5 3eb8290 1162dad 23097b5 5b0824e 23097b5 7758b50 0d1d8fa 23097b5 dd1e68b 1a34b46 1d5f06c 1a34b46 1d5f06c 1a34b46 1d5f06c 1a34b46 1d5f06c 1a34b46 6d0c5b3 1a34b46 d589298 6d0c5b3 d589298 1d5f06c d589298 1a34b46 d589298 1a34b46 d589298 6d0c5b3 1a34b46 d589298 6d0c5b3 d589298 4e18fb4 d589298 4e18fb4 d589298 6d0c5b3 d589298 eca91f3 d589298 1162dad 261710d 1162dad 261710d 3c0d911 d9428b7 dbb85c7 d9428b7 9a0b27c 23097b5 1162dad 9fa869e d1e2793 9fa869e d1e2793 9fa869e e411d54 d1e2793 e411d54 9fa869e e411d54 9fa869e e411d54 d589298 23097b5 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 302 303 304 305 306 307 308 309 310 311 312 313 314 315 316 317 318 319 320 321 322 323 324 325 326 327 328 329 330 331 332 333 334 335 336 337 338 339 340 341 342 343 344 345 346 347 348 349 350 351 352 353 354 355 356 357 358 359 360 361 362 363 364 365 366 367 368 369 370 371 372 373 374 375 376 377 378 379 380 381 382 383 384 385 386 387 388 389 390 391 392 393 394 395 396 397 398 399 400 401 402 403 404 405 406 407 408 409 410 411 412 413 414 415 416 417 418 419 420 421 422 423 424 425 426 427 428 429 430 431 432 433 434 435 436 437 438 439 440 441 442 443 444 445 446 447 448 449 450 451 452 453 454 455 456 457 458 459 460 461 462 463 464 465 466 467 468 469 470 471 472 473 474 475 476 477 478 479 480 481 482 483 484 485 486 487 |
import dash
from dash import Dash, html, dcc, callback, Output, Input
from dash import dash_table
import plotly.express as px
from app import app
import pandas as pd
import datetime
import requests
from io import StringIO
from datetime import date
import dash_bootstrap_components as dbc
import plotly.express as px
server = app.server
url='https://drive.google.com/file/d/1NaXOYHQFF5UO5rQr4rn8Lr3bkYMSOq4_/view?usp=sharing'
url='https://drive.google.com/uc?id=' + url.split('/')[-2]
# reading of file
df = pd.read_csv(url)
# filtering the file for more than 4 tokens
df = df[df['Headline'].str.split().str.len().gt(4)]
df['date'] = pd.to_datetime(df['date'])
unique_domains = df['domain_folder_name'].unique()
print(unique_domains)
unique_topics = df['Topic'].unique()
print(unique_topics)
#copying a column
df["Veículos de notícias"] = df["domain_folder_name"]
# df = df.rename(columns={df.columns[4]: "Veículos de notícias"})
df['FinBERT_label'] = df['FinBERT_label'].astype(str)
df['FinBERT_label'].replace({
'3.0': 'positive',
'2.0': 'neutral',
'1.0': 'negative'
}, inplace=True)
counts = df.groupby(['date', 'Topic', 'domain_folder_name', 'FinBERT_label']).size().reset_index(name='count')
counts['count'] = counts['count'].astype('float64')
counts['rolling_mean_counts'] = counts['count'].rolling(window=30, min_periods=2).mean()
df_pos = counts[[x in ['positive'] for x in counts.FinBERT_label]]
df_neu = counts[[x in ['neutral'] for x in counts.FinBERT_label]]
df_neg = counts[[x in ['negative'] for x in counts.FinBERT_label]]
# app.layout
tab_content_1 = dbc.Container([
dbc.Row([ # row 1
dbc.Col([html.H1('Evolução temporal de sentimento em títulos de notícias')],
className="text-center mt-3 mb-1")]),
dbc.Row([ # row 2
dbc.Label("Selecione um período (mm/dd/aaaa):", className="fw-bold")]),
dbc.Row([ # row 3
dcc.DatePickerRange(
id='date-range',
min_date_allowed=df['date'].min().date(),
max_date_allowed=df['date'].max().date(),
initial_visible_month=df['date'].min().date(),
start_date=df['date'].min().date(),
end_date=df['date'].max().date())]),
dbc.Row([ # row 4
dbc.Label("Escolha um tópico:", className="fw-bold")
]),
dbc.Row([ # row 5
dbc.Col(
dcc.Dropdown(
id="topic-selector",
options=[
{"label": topic, "value": topic} for topic in unique_topics
],
value="Imigrantes", # Set the initial value
style={"width": "50%"})
)
]),
dbc.Row([ # row 6
dbc.Col(dcc.Graph(id='line-graph-1'))
]),
dbc.Row([ # row 7 but needs to be updated
dbc.Col(dcc.Graph(id="bar-graph-1"))
]),
# html.Div(id='pie-container-1'),
dbc.Row([ # row 9
dbc.Col(dcc.Graph(id='pie-graph-1'),
)
]),
dbc.Row([ # row 7
dbc.Label("Escolha um site de notícias:", className="fw-bold")
]),
dbc.Row([ # row 8
dbc.Col(
dcc.Dropdown(
id="domain-selector",
options=[
{"label": domain, "value": domain} for domain in unique_domains
],
value="expresso-pt", # Set the initial value
style={"width": "50%"})
)
]),
dbc.Row([ # row 9
dbc.Col(dcc.Graph(id='line-graph-2'),
)
]),
# dbc.Row([ # row 9
# dbc.Col(dcc.Graph(id='line-graph-2'),
# )
# ]),
# dbc.Row([ # row 10
# dbc.Col(dcc.Graph(id='line-graph-3'),
# )
# ]),
# dbc.Row([ # row 11
# dbc.Col(dcc.Graph(id='line-graph-4'),
# )
# ]),
# html.Div(id='pie-container-2'),
dbc.Row([ # row 9
dbc.Col(dcc.Graph(id='pie-graph-2'),
)
]),
dbc.Row([ # row 9
dbc.Col(
dash_table.DataTable(
id='headlines-table',
columns=[
{"name": "Headline", "id": "Headline"},
{"name": "URL", "id": "url"},
{"name": "Date", "id": "date"},
{"name": "Sentiment Label", "id": "FinBERT_label"}
],
style_table={'overflowX': 'auto'},
style_cell={
'textAlign': 'left',
'whiteSpace': 'normal',
'height': 'auto',
'minWidth': '180px', 'width': '180px', 'maxWidth': '180px',
},
page_current= 0,
page_size= 10,
)
)
])
])
# # Create a function to generate pie charts
# def generate_pie_chart(category):
# labels = data[category]['labels']
# values = data[category]['values']
# trace = go.Pie(labels=labels, values=values)
# layout = go.Layout(title=f'Pie Chart - {category}')
# return dcc.Graph(
# figure={
# 'data': [trace],
# 'layout': layout
# }
# )
# callback decorator
@app.callback(
Output('line-graph-1', 'figure'),
Output('bar-graph-1','figure'),
Output('pie-graph-1', 'figure'),
Output('line-graph-2', 'figure'),
Output('pie-graph-2', 'figure'),
Output('headlines-table', 'data'),
Input("topic-selector", "value"),
Input("domain-selector", "value"),
Input('date-range', 'start_date'),
Input('date-range', 'end_date')
)
def update_output(selected_topic, selected_domain, start_date, end_date):
#log
print("topic",selected_topic,"domain",selected_domain,"start", start_date,"date", end_date)
# filter dataframes based on updated data range
mask_1 = ((df["Topic"] == selected_topic) & (df['date'] >= start_date) & (df['date'] <= end_date))
df_filtered = df.loc[mask_1]
print(df_filtered.shape)
if len(df_filtered)>0:
#create line graphs based on filtered dataframes
line_fig_1 = px.line(df_filtered, x="date", y="normalised results",
color='Veículos de notícias', title="O gráfico mostra a evolução temporal de sentimento dos títulos de notícias. Numa escala de -1 (negativo) a 1 (positivo), sendo 0 (neutro).")
# Veículos de notícias
#set x-axis title and y-axis title in line graphs
line_fig_1.update_layout(
xaxis_title='Data',
yaxis_title='Classificação de Sentimento')
#set label format on y-axis in line graphs
line_fig_1.update_xaxes(tickformat="%b %d<br>%Y")
# Bar Graph start
grouped_df = df_filtered.groupby(['date', 'Veículos de notícias']).size().reset_index(name='occurrences')
# Sort DataFrame by 'period' column
grouped_df = grouped_df.sort_values(by='date')
# Create a list of all unique media
all_media = df_filtered['domain_folder_name'].unique()
# Create a date range from Jan/2000 to the last month in the dataset
date_range = pd.date_range(start=df_filtered['date'].min().date(), end=df_filtered['date'].max().date(), freq='MS')
# Create a MultiIndex with all combinations of date_range and all_media
idx = pd.MultiIndex.from_product([date_range, all_media], names=['date', 'Veículos de notícias'])
# Reindex the DataFrame to include all periods and media
grouped_df = grouped_df.set_index(['date', 'Veículos de notícias']).reindex(idx, fill_value=0).reset_index()
bar_fig_1 = px.bar(grouped_df, x='date', y='occurrences', color='Veículos de notícias',
labels={'date': 'Período', 'occurrences': 'Número de notícias', 'Veículos de notícias': 'Portal'},
title='Número de notícias por período de tempo')
bar_fig_1.update_xaxes(tickformat="%b %d<br>%Y")
# Bar Graph ends
# line-fig 2 starts
# filter dataframes based on updated data range
# Filtering data...
df_filtered_2 = counts[(counts['Topic'] == selected_topic) &
(counts['domain_folder_name'] == selected_domain) &
(counts['date'] >= start_date) &
(counts['date'] <= end_date)]
# Create a date range for the selected period
date_range = pd.date_range(start=start_date, end=end_date)
# Create a DataFrame with all possible combinations of classes, topics, and dates
all_combinations = pd.MultiIndex.from_product([['positive', 'neutral', 'negative'],
[selected_topic],
[selected_domain],
date_range],
names=['FinBERT_label', 'Topic', 'domain_folder_name', 'date'])
df_all_combinations = pd.DataFrame(index=all_combinations).reset_index()
# Merge filtered DataFrame with DataFrame of all combinations
merged_df = pd.merge(df_all_combinations, df_filtered_2, on=['FinBERT_label', 'Topic', 'domain_folder_name', 'date'], how='left')
# Fill missing values with zeros
merged_df['count'].fillna(0, inplace=True)
merged_df['rolling_mean_counts'].fillna(0, inplace=True)
# Create line graph...
line_fig_2 = px.line(merged_df, x="date", y="count", color="FinBERT_label",
line_group="FinBERT_label", title="Sentiment Over Time",
labels={"count": "Number of News Articles", "date": "Date"})
# Update layout...
line_fig_2.update_layout(xaxis_title='Date', yaxis_title='Number of News Articles',
xaxis=dict(tickformat="%b %d<br>%Y"))
# line-fig 2 ends
# Map original labels to their translated versions
label_translation = {'positive': 'positivo', 'neutral': 'neutro', 'negative': 'negativo'}
df_filtered['FinBERT_label_transformed'] = df_filtered['FinBERT_label'].map(label_translation)
# Group by FinBERT_label and count occurrences
label_counts_all = df_filtered['FinBERT_label_transformed'].value_counts()
# Calculate percentage of each label
label_percentages_all = (label_counts_all / label_counts_all.sum()) * 100
# Plot general pie chart
pie_chart_1 = px.pie(
values=label_percentages_all,
names=label_percentages_all.index,
title='Distribuição Geral',
color_discrete_sequence=['#039a4d', '#3c03f4', '#ca3919']
)
# Get unique media categories
media_categories = df_filtered['Veículos de notícias'].unique()
# Define colors for each label
label_colors = {'positivo': '#039a4d', 'neutro': '#3c03f4', 'negativo': '#ca3919'}
# Filter DataFrame for current media category
media_df = df_filtered[df_filtered['Veículos de notícias'] == selected_domain]
# Group by FinBERT_label and count occurrences
label_counts = media_df['FinBERT_label_transformed'].value_counts()
# Calculate percentage of each label
label_percentages = (label_counts / label_counts.sum()) * 100
# Plot pie chart
pie_chart_2 = px.pie(
values=label_percentages,
names=label_percentages.index,
title=f'Distribuição para {selected_domain}',
color_discrete_sequence=[label_colors[label] for label in label_percentages.index]
)
# pie_chart_2 = dcc.Graph(figure=fig)
# pie_chart_2 = html.Div(fig,className='four columns')
# Convert FinBERT_label to categorical for better sorting
media_df['FinBERT_label'] = pd.Categorical(media_df['FinBERT_label'],
categories=['positive', 'neutral', 'negative'],
ordered=True)
# Sort DataFrame by sentiment label and date
data_table_1 = media_df.sort_values(by=['FinBERT_label', 'date'])
return line_fig_1, bar_fig_1, pie_chart_1, line_fig_2, pie_chart_2, data_table_1.to_dict('records')
else:
return {'data': []},{'data': []} ,{'data': []} ,{'data': []} , {'data': []}, {'data': []}
# return line_fig_1
# df = pd.read_csv('https://raw.githubusercontent.com/plotly/datasets/master/gapminder_unfiltered.csv')
# app.layout = html.Div([
# html.H1(children='Title of Dash App', style={'textAlign':'center'}),
# dcc.Dropdown(df.country.unique(), 'Canada', id='dropdown-selection'),
# dcc.Graph(id='graph-content')
# ])
# @callback(
# Output('graph-content', 'figure'),
# Input('dropdown-selection', 'value')
# )
# def update_graph(value):
# dff = df[df.country==value]
# return px.line(dff, x='year', y='pop')
# # Define callback function for updating the headlines table
# @app.callback(
# Output('headlines-table', 'data'),
# Input("topic-selector", "value"),
# Input("domain-selector", "value"),
# Input('date-range', 'start_date'),
# Input('date-range', 'end_date')
# )
# def update_headlines_table(selected_topic, selected_domain, start_date, end_date):
# # Filtering data...
tab_content_2 = dcc.Markdown('''
# Sobre o projeto
Quão positiva (ou negativa) foi a cobertura da imprensa portuguesa acerca do novo Acordo Ortográfico? E quanto à comunidades minorizadas como a LGBT? SentDiário é uma ferramenta que permite uma análise diacrônica detalhada das tendências midiáticas relativas a diferentes tópicos de interesse social. Nós apresentamos um modelo que permite classificar automaticamente o sentimento dos títulos de notícias, através de assuntos selecionados. Para esta versão *demo*, incluímos notícias arquivadas pelo **Arquivo.pt**, publicadas nos sites dos 10 principais portais de notícias de Portugal, de acordo com o [Instituto Reuters para o Estudo do Jornalismo](https://reutersinstitute.politics.ox.ac.uk/digital-news-report/2023/portugal):
![corpus_arquivopt.jpg](corpus_arquivopt.jpg)
<iframe title="Weekly reach - online" aria-label="Split Bars" id="datawrapper-chart-5YFSg" src="https://datawrapper.dwcdn.net/5YFSg/2/" scrolling="no" frameborder="0" style="width: 0; min-width: 100% !important; border: none;" height="665" data-external="1"></iframe><script type="text/javascript">!function(){"use strict";window.addEventListener("message",(function(a){if(void 0!==a.data["datawrapper-height"]){var e=document.querySelectorAll("iframe");for(var t in a.data["datawrapper-height"])for(var r=0;r<e.length;r++)if(e[r].contentWindow===a.source){var i=a.data["datawrapper-height"][t]+"px";e[r].style.height=i}}}))}();</script>
## Por que analisar o sentimento de textos jornalísticos?
[Vizeu](https://revistaseletronicas.pucrs.br/ojs/index.php/revistafamecos/article/view/6321) (2009, p.77) argumenta que o jornalismo é um ‘lugar de referência’. Isto é, um lugar que estabelece parâmetros da realidade, aonde as pessoas vão em busca de ‘estabilidade’. Desta forma, é através do consumo de notícias que temos acesso a fatos diversos do cotidiano, e a forma como os interpretamos é mediada pelos meios de comunicação. O fato de um jornal publicar mais notícias positivas ou negativas sobre determinado assunto tem, portanto, o potencial de não apenas reproduzir, mas também, construir uma visão positiva ou negativa acerca daquele determinado tópico. Assim, analisar o sentimento das notícias ajuda a compreender como assuntos de relevância social são reportados pelos diferentes meios e qual o ‘tom’ adotado pelos jornais.
## Mas notícias não deveriam ser sempre neutras?
Quando falamos em neutralidade no jornalismo ([Ojala,2021](https://www.tandfonline.com/doi/full/10.1080/1461670X.2021.1942150)), nos referimos à busca por uma reportagem que não tome partido e apresente uma visão equilibrada dos fatos. Ao propor uma análise de sentimento, estamos levando em consideração que textos de notícia podem ser positivos, negativos ou neutros, na medida em que o discurso faz usos de palavras que carregam esses sentimentos. Veja abaixo exemplos de notícias de polaridade positiva, neutra e negativa:
- Positivo: [Festival pretende promover inclusão social da comunidade LGBTS](https://arquivo.pt/noFrame/replay/20120809234829id_/http://www.dn.pt/cartaz/interior.aspx?content_id=2710584)
- Neutro: [Nasce uma igreja todos os meses em Portugal](https://arquivo.pt/noFrame/replay/20190811192132id_/https://www.dn.pt/pais/interior/nasce-uma-igreja-todos-os-meses-em-portugal--10887303.html)
- Negativo: [Cidadãos lançam iniciativa contra acordo ortográfico no Facebook](https://arquivo.pt/noFrame/replay/20100608075542id_/http://www.publico.pt/Sociedade/cidadaos-lancam-iniciativa-contra-acordo-ortografico-no-facebook_1424865)
## E por que analisar somente os títulos das notícias? E quanto ao resto do texto?
Títulos de notícias exercem uma série de funções ([Scacco & Muddiman, 2016](https://mediaengagement.org/research/clickbait-headlines/)), especialmente quando se trata do jornalismo online, que depende de clicks para mensurar sua audiência. Seja o título um resumo do conteúdo ou um clickbait, ele é o primeiro nível de acesso à informação (a primeira impressão) e, muitas vezes, também a única.
>*Clickbait* é o nome dado à estratégia de se utilizar de títulos super atrativos ao leitor. Esses títulos, muitas vezes, fazem uso de palavras alarmantes, criam mistérios ou perguntas a serem respondidas (ou não) pelo restante do texto caso o leitor o acesse.
Devido ao uso de paywalls ou por conta de hábitos de consumo de notícias pelas redes sociais, os títulos acabam sendo a única dimensão da notícia que muitos leitores consomem. Por fim, a análise dos textos apresenta um desafio técnico que pode elevar a imprecisão dos algoritmos devido aos longos parágrafos, os quais tendem a apresentar fatos diversos com conteúdos contraditórios e fazendo uso de uma linguagem menos adjetivada (portanto mais objetiva), o que tende a acontecer de forma oposta em títulos.
## Como usar a ferramenta?
- [List the specific goals and objectives of the project.]
## Metodologia
Utilizamos a API do Arquivo.pt para realizar as buscas, identificando, para cada tema, as palavras-chave, os diferentes portais de notícias e fixando o período de tempo relevante. Cada notícia extraída é classificada automaticamente, a partir do respectivo título, como: a) positiva, b) negativa ou c) neutra.
[FinBERT-PT-BR](https://huggingface.co/lucas-leme/FinBERT-PT-BR) foi o modelo utilizado por ter apresentado os melhores resultados quando comparado a diferentes modelos de análise de polaridade. Testamos os seguintes modelos: `pysentimiento`, `lxyuan`, `citizenlab`, `HeyLucasLeao`, `igoramf` e `satoken`. Também testamos a combinação de diferentes modelos, porém, FinBERT-PT-BR apresentou a melhor acurácia a partir de uma avaliação manual de 150 títulos realizada por dois anotadores falantes nativos de português.
Os resultados obtidos são, então, processados para serem apresentados de maneira otimizada. Primeiramente, para cada tópico, fornecemos a distribuição do número de publicações por mês e por portal de notícias. Em seguida, apresentamos a tendência global (ou seja, todos os portais combinados) das publicações e a evolução temporal. Além disso, para cada portal, é possível verificar as diferentes evoluções diacrônicas relativas às diferentes etiquetas utilizadas em nossa classificação.
Nós selecionamos quatro tópicos para demonstrar o interesse da nossa ferramenta (imigração, novo acordo ortográfico, LGBT e direitos reprodutivos/aborto), porém, o potencial dela vai além, e pode ser adaptada para abranger uma diversidade de assuntos.
## Sobre a análise de sentimento:
- **Como funciona?**
A *análise de sentimento* é uma forma de se utilizar de algorítimos de Processamento de Linguagem Natural (PLN) para quantificar a itensidade emocional de palavras, frases e textos. Ferramentas de classificação de sentimento se tornaram populares por seu uso comercial, no qual empresas de utilizam desses algorítimos para analisar a recepção de seus produtos através de comentários de consumidores na internet. Algorítimos treinados em diversas bases de dados podem funcionar de formas diversas. Em sua forma mais básica, o algorítimo pode conter um dicionário criado por pessoas, no qual um sentimento é atribuído a uma série de palavras. Desta forma, para determinar o sentimento de uma frase, basta calcular quantas palavras positivas, negativas ou neutras estão presentes nela. Formas mais sofisticadas surgiram ao longo do tempo, permitindo que os algorítimos não apenas usassem um dicionário, mas também compreendenssem a sintaxe da língua. Com o uso de aprendizado de máquinas, tem sido possível gerar algorítimos cada vez mais eficientes, que consigam lidar com desafios linguísticos e frases mais complexas.
- **Quais as principais limitações dessa metodologia?**
- Notícias tem uma tendência negativa
Como lembram Toff, Palmer e Nielsen no livro *[Evitando notícias: audiências relutantes em relação ao jornalismo](https://cup.columbia.edu/book/avoiding-the-news/9780231205191)* (2023, p.1), "Jornalistas não cobrem pousos de aviões". Existe por tanto uma tendência do jornalismo a jogar luz sobre fatos disruptivos do cotidiano, que tendem a ter uma natureza negativa. Há também indicativos de que o número de notícias negativas têm potencialmente aumentado ao longo dos últimos anos. De acordo com uma [pesquisa](https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0276367) realizada por Rozado, Hudges e Halberstadt (2022), ouve um aumento no número de notícias negativas publicadas entre os anos 2000 e 2019 nos Estados Unidos. Os autores utilizaram análise de sentimento num corpus composto de 23 milhões de títulos de notícias publicadas por 47 meios de comunicação populares no país. Esse viés, entretanto, deve variar de acordo com o tópico ou evento analisado, sendo notícias positivas mais facilmente encontradas nas seções de 'viagens' ou 'esportes' de um jornal, por exemplo.
- Classificação negativa não significa necessariamente uma notícia ruim
O método de classificação automatizada de sentimento considera o sentimento discursivamente expresso no texo a partir da escolha das palavras. Na notícia *[ONU critica resposta da administração Trump a manifestações racistas](https://arquivo.pt/noFrame/replay/20170831232240id_/http://observador.pt/2017/08/23/onu-critica-resposta-da-administracao-trump-a-manifestacoes-racistas/)*, por exemplo, por mais que a notícia seja boa (por se tratar de uma crítica a manifestações racistas), o fato de a notícia conter as palavras 'critica' e 'racistas' faz com que a polaridade seja calculada pelo algorítimo como 'negativa'. A classificação 'negativa', por tanto, se trata do uso de palavras negativas, e não, necessariamente, do fato de uma notícia ser boa ou ruim.
- Algumas frases são complexas demais
Neste título *[Vasco Pulido Valente. Marcelo elogia "impiedosa independência crítica"](https://arquivo.pt/noFrame/replay/20200327212418id_/https://www.dn.pt/poder/amp/vasco-pulido-valente-marcelo-elogia-impiedosa-independencia-critica-11848581.html)* há um elogio feito com uso de palavras negativas ('impiedosa', 'crítica'). Enquanto um cronista, ser considerado como dono de uma 'impiedosa independência crítica' é positivo. Daí o motivo de algorítimos de análise de sentimento serem 'sensíveis ao contexto'. Frases que se utilizam de ironias e sarcasmo também dificultam a classificação de sentimento. Algumas vezes, sendo difícil não apenas para as máquinas (algorítimos) mas também para humanos interpretá-las.
- **Os resultados são confiáveis?**
Como argumenta Rogers em [Doing Digital Methods](https://books.google.com/books/about/Doing_Digital_Methods.html?id=DLuODwAAQBAJ) (2019), reconhecer as limitações dos dados e suas formas de uso é inerente ao uso de métodos digitais. Embora o uso de classificações automatizadas de sentimento apresente desafios, esse método pode facilitar uma análise exploratória dos dados. Combinar esse método com outros, sejam eles quantitativos ou qualitativos (como a leitura manual dos dados), é desejável para que seus resultados possam ser interpretados da melhor maneira e, em alguns casos, generalizados.
> Para aprender mais sobre análise de sentimento:
> - Zoë Wilkinson Saldaña, "Análise de sentimento para exploração de dados", traduzido por Caio Mello, Programming Historian em português 1 (2021), https://doi.org/10.46430/phpt0017.
> - Jennifer Isasi, "Análise de sentimentos em R com 'syuzhet'", traduzido por Diana Rebelo Rodriguez, Programming Historian em português 2 (2022), https://doi.org/10.46430/phpt0022.
## Autores
- [Caio Mello](https://caiocmello.github.io/): PhD Candidate, School of Advanced Study, University of London | E-mail: caiomellodh@gmail.com
- [Dr. Diego Alves](https://dfvalio.github.io/): Postdoctoral Researcher, Saarland University| E-mail: dfvalio@gmail.com
- [Dr. Gaurish Thakkar](https://thak123.github.io/): Researcher, University of Zagreb | E-mail: thak123@gmail.com
---
Obrigado por visitar nossa página. Para mais informações, sinta-se à vontade para entrar em contato com os autores do projeto.
''')
app.layout = html.Div(
[
dbc.Card(
[
dbc.CardHeader(
dbc.Tabs(
[
dbc.Tab(label="SentDiário", tab_id="tab-1"),
dbc.Tab(label="Sobre o projeto", tab_id="tab-2"),
],
id="tabs",
active_tab="tab-1",
)
),
dbc.CardBody(html.Div(id="content", className="card-text")),
]
)
]
)
@app.callback(Output("content", "children"), [Input("tabs", "active_tab")])
def switch_tab(at):
if at == "tab-1":
return tab_content_1
elif at == "tab-2":
return tab_content_2
return html.P("This shouldn't ever be displayed...")
if __name__ == '__main__':
app.run_server(debug=True)
|