app.py

import json
import pandas as pd
import plotly.express as px
import plotly.graph_objects as go
import streamlit as st
import numpy as np

from datetime import datetime, timedelta
from dateutil.relativedelta import relativedelta
from pathlib import Path
from PIL import Image

import app_scripts.s_02_map as smap
import app_scripts.s_01_get_data as get_data

def drop_day(date: datetime) -> datetime:
  return datetime(year=date.year, month=date.month, day=1)

# penciltip_im = Image.open(r'C:\Users\EPostolit\Programs\HHru\site (streamlit)\final\data\pictures\penciltip.png')
penciltip_im = Image.open(Path() / 'data' / 'pictures' / 'penciltip.png')

st.set_page_config(
  page_title='Безработица, hh-ru',
  page_icon= penciltip_im,
  layout='wide'
)

def pm_num(num):
  if num > 0:
    return '+' + "%.1f" % num
  else:
    return "%.1f" % num


VTB_COLORS = [(0.228845, 0.413827, 0.561235),
             (0.301203, 0.652293, 0.707487),
             (0.834794, 0.267854, 0.225356),
             (0.967809, 0.848523, 0.288235),
             (0.0480806, 0.0308608, 0.0346505),
             (0.744229, 0.744089, 0.740097),
             (0.99389, 0.970688, 0.797143),
             (0.721352, 0.321019, 0.293811)
]


# print(dir(scr))

# DATA_FOLDER = Path(r'data')
# MAP_DATA = DATA_FOLDER / 'map_data'

st.title('Альтернативные данные по безработице.\nНа основе открытых данных из Headhunter')
st.write('[Безработица в мае по данным Росстата обновляет исторический минимум 2-ой месяц подряд](https://t.me/xtxixty/1951), достигнув отметки в 3.9%.\
   Все это происходит на фоне массового ухода иностранных компаний с российского рынка и [падения производства](https://t.me/xtxixty/1951).\
   О том, что разброс оценки безработицы из-за не очень большой выборки в ~77 тыс. человек | ~0.1% рабочей силы может быть большим писали [ранее](https://t.me/xtxixty/1792). ')
# st.markdown('# Headhunter в России')

counties = smap.get_counties()
stats_df = smap.prepare_stats_df()
# stats_df.to_excel('delte0.xlsx', index=False)

# stats_df[stats_df.columns[0:4]]

min_date = min(stats_df['date'])
max_date = max(stats_df['date'])

# min_date
# max_date

# prof_name = st.sidebar.selectbox('Проф. область',
                                # np.unique([str(i) for i in stats_df.prof_name]))
prof_name = 'все'


date = st.slider('Дата', min_value=min_date.to_pydatetime(), max_value=max_date.to_pydatetime(),
				 value=max_date.to_pydatetime(), step=timedelta(days=30))

date = drop_day(date)

prof_df = stats_df[stats_df['prof_name'] == prof_name]

show_df = prof_df[(stats_df['date'] == date)]
# show_df.shape

show_df.to_excel('delte1.xlsx', index=False)


fig = go.Figure(go.Choroplethmapbox(geojson=counties,
                           locations=show_df['map_region_id'],
                           z=show_df['hh_index'],
                           text=show_df['name'],
#                            colorscale=[[0, f'rgb{VTB_COLORS[1]}'],
#                                        [qq[1], f'rgb{VTB_COLORS[3]}'],
#                                        [qq[2], f'rgb{VTB_COLORS[2]}'],
#                                        [1, f'rgb{VTB_COLORS[2]}']],
                           colorscale=[[0, f'rgb{VTB_COLORS[1]}'],
                                       [0.4, f'rgb{VTB_COLORS[3]}'],
                                       [0.8, f'rgb{VTB_COLORS[2]}'],
                                       [1.0, f'rgb{VTB_COLORS[2]}']],
                           colorbar_thickness=20,
                           customdata=np.stack([show_df['hh_index'], show_df['vacancies'].apply(pm_num), show_df['resumes'].apply(pm_num), show_df['hh_index_change'].apply(pm_num)], axis=-1),
                           hovertemplate='<b>%{text}</b>'+ '<br>' +
                                         'hh индекс: %{z}' + '<br>' +
                                         'изменение индекса: %{customdata[3]}% м/м' + '<br>' + 
                                         'активных вакансий: %{customdata[1]}% м/м' + '<br>' +
                                         'активных резюме: %{customdata[2]}% м/м'# + '<br>' #+
#                                          'Всего случаев: %{customdata[2]}' + '<br>' +
#                                          'Выздоровело: %{customdata[3]}' +
                                         '<extra></extra>',
                           hoverinfo='text, z'))
fig.update_layout(mapbox_style="carto-positron",
                  mapbox_zoom=1, mapbox_center = {"lat": 66, "lon": 94})
fig.update_traces(marker_line_width=0)
fig.update_layout(margin={"r":0,"t":0,"l":0,"b":0})
st.plotly_chart(fig, use_container_width=True)

st.write('''На карте изображено распределение [hh-index-a](https://ru.wikipedia.org/wiki/HeadHunter#hh.%D0%B8%D0%BD%D0%B4%D0%B5%D0%BA%D1%81) в РФ, равного отношению числа активных резюме к количеству открытых вакансий на сервисах [hh.ru](http://hh.ru), т.е. прокси для безработицы.''')

# st.dataframe(stats_df[stats_df['location'] == 'total'])

# st.sidebar.write('hello')

# st.write('this is dataframe with data')
# st.dataframe(show_df)

# quantile graph by region

# TODO implement the ability to choose region
ros_df = get_data.load_rs_unemploment()

quantiles = (0.05, 0.5, 0.95)
quantile_data = prof_df[['date', 'hh_index', 'name']].groupby('date').apply(lambda df:
                                                      np.quantile(df['hh_index'], quantiles))

lower = pd.Series(index=quantile_data.index, data=[val[0] for val in quantile_data.values])
median = pd.Series(index=quantile_data.index, data=[val[1] for val in quantile_data.values])
upper = pd.Series(index=quantile_data.index, data=[val[2] for val in quantile_data.values])

hh_index_df = stats_df[stats_df['location'] == 'total']
hh_index_df.to_excel('delte.xlsx', index=False)

blue_color_str = f'rgb{VTB_COLORS[0]}'
lightblue_color_str = f'rgb{VTB_COLORS[1]}'
rosstat_color_str = f'rgb{VTB_COLORS[2]}'
layout = go.Layout(
    paper_bgcolor=f'rgb{VTB_COLORS[6]}'
    ,plot_bgcolor=f'rgb{VTB_COLORS[6]}'
    ,title='Распределение hh-индекса по регионам и данные росстата', title_x=0.5
    ,margin=dict(l=2,r=2)
    # ,width=st.get_container_width
    ,height=500
)
fig = go.Figure(layout=layout)

fig.update_layout(
  legend=dict(
      yanchor="top",
      y=0.99,
      xanchor="center",
      x=0.51
  )
)

fig.add_trace(go.Scatter(x=lower.index, y=lower.values, line_color=blue_color_str,
                         name=f'({quantiles[0]}, {quantiles[2]}) квантили распр. по регионам'))
# fig.add_trace(go.Scatter(x=median.index, y=median.values, fill='tonexty', line_color='blue',
                        # name=f'{quantiles[1]}-ый квантиль'))
fig.add_trace(go.Scatter(x=upper.index, y=upper.values, fill='tonexty', line_color=blue_color_str
                          ,showlegend=False))

fig.add_trace(go.Scatter(x=hh_index_df['date'], y=hh_index_df['hh_index'], line_color=lightblue_color_str,
                        name='hh индекс по всей России'))

fig.add_trace(go.Scatter(x=ros_df['date'], y=ros_df['unemp'], line_color=rosstat_color_str,
                        name='уровень безработицы (%), Росстат'))

st.plotly_chart(fig, use_container_width=True)
fig.write_image('pic.svg')
print('wrote')

st.write('После фераля hh-индекс резко вырос (на 30% м/м в марте и потом еще на на 16% м/м в апреле), но уровень беззработицы по данным Росстата продолжил снижение.')

st.write('Регионы с наибольшей безработицей по версии hh.ru')
# sort regions by force
show_df.sort_values(by=['hh_index'], inplace=True, ascending=False)

 
def get_headtail(df: pd.DataFrame, num: int = 5) -> pd.DataFrame:
  cols = df.columns
  dots_df = pd.DataFrame([['...'] * len(cols)], columns=cols, index=['...'])
  ans_df = pd.concat([df.head(num), dots_df, df.tail(num)], axis=0)
  for col in ans_df.columns:
    ans_df[col] = ans_df[col].astype(str)

  ans_df.index = ans_df.index.astype(str)
  return ans_df


# cur_show = get_headtail(show_df[['date', 'name', 'hh_index', 'hh_index_change']].drop_duplicates().dropna(), 4)
cur_show = show_df[['date', 'name', 'hh_index', 'hh_index_change']].drop_duplicates().dropna()

cur_show.columns=['дата', 'регион', 'hh-индекс', 'изменение hh-индекса, % м/м']
cur_show['hh-индекс'] = cur_show['hh-индекс'].apply(lambda x: '%.1f' % x)
for col in ['изменение hh-индекса, % м/м']:
  cur_show[col] = cur_show[col].apply(lambda x: '%.0f' % x)
cur_show['дата'] = cur_show['дата'].apply(lambda x: x.strftime('%Y-%m-%d'))

st.dataframe(cur_show, width=8000)

st.write('За последние 3 месяца hh-индекс вырос сильнее всего в Московской, Нижегородской, Тверской, Самарской, Калмыцкой, Пермской и Рязанской областях.')
st.write('В то же время за эти же 3 месяца он сократился в Респ. Тыва, Алтайской респ, Магаданской обл., Чукотке, Еврейском АО, Ингушетии и на Камчатке.')


temp="""
st.dataframe(show_df.dropna())
# fig.show()

# sl = st.slider('Дата', min_value=min_date, max_value=max_date, value=date)

# unemployment delta by region
# percentage increased/decreased
(prev_date, cur_date) = st.slider('2-range', min_value=min_date.to_pydatetime(),
                                  max_value=max_date.to_pydatetime(),
                                  value=(max_date.to_pydatetime() - timedelta(days=30),
                                  max_date.to_pydatetime()), step=timedelta(days=30),
                                  format="M'YY")
prev_date, cur_date = map(drop_day, [prev_date, cur_date])

color_good = tuple((np.array(VTB_COLORS[1]) * 255).astype(int))
color_bad = tuple((np.array(VTB_COLORS[3]) * 255).astype(int))

show_df = prof_df[['name', 'hh_index', 'date']][(prof_df['date'] == prev_date) | (prof_df['date'] == cur_date)]
show_df.to_excel('temp.xlsx', index=False)

st.dataframe(show_df)

st.write(f'Values: {prev_date, cur_date}')

"""
temp="""
st.write('stats df')
stats_df['prof_id'] = stats_df['prof_id'].astype(str)
st.dataframe(stats_df)
"""
temp="""

# salary distribution by specialization and prof area

# top skills
"""