datacipen commited on
Commit
d28f004
1 Parent(s): a2821a0

Update main.py

Browse files
Files changed (1) hide show
  1. main.py +15 -15
main.py CHANGED
@@ -907,7 +907,7 @@ async def contexte(romeListArray):
907
  emplois_list = ''.join(emplois)
908
  context = emplois_list.replace('[','').replace(']','').replace('{','').replace('}','')
909
  #ficheMetier = await Fiche_metier("https://www.soi-tc.fr/assets/fiches_pe/FEM_", romeListArray[0])
910
- ficheMetier = await getTxtFromHTMLStatsMetier("https://dataemploi.pole-emploi.fr/metier/chiffres-cles/NAT/FR/", romeListArray[0])
911
  ficheMetiersCompetencesSavoirs = await Fiche_metier_competences_savoirs(romeListArray[0])
912
  #metierSecteurContexteTravail = await Metier_secteur_contexte_travail(romeListArray[0])
913
  cl.user_session.set("EmploiST", context)
@@ -993,7 +993,7 @@ async def Fiche_metier_competences_savoirs(codes):
993
  return dataset
994
 
995
  @cl.step(type="tool")
996
- async def getTxtFromHTMLMetier(url, codes):
997
  if codes.find(',') != -1:
998
  all = ""
999
  codeArray = codes.split(',')
@@ -1002,8 +1002,8 @@ async def getTxtFromHTMLMetier(url, codes):
1002
  soup = BeautifulSoup(response.text, "html.parser")
1003
  alljobs = soup.select('div.fm-other-names > ul > li')
1004
  allKindjobs = ""
1005
- for i in range(0,len(alljobs)):
1006
- allKindjobs = allKindjobs + removeTags(alljobs[i]) + ", "
1007
  allmissions = soup.select('div.fm-presentation-text')
1008
  allcompetences = soup.select('div#part2')
1009
  allcontextes = soup.select('div#part3')
@@ -1014,8 +1014,8 @@ async def getTxtFromHTMLMetier(url, codes):
1014
  soup = BeautifulSoup(response.text, "html.parser")
1015
  alljobs = soup.select('div.fm-other-names > ul > li')
1016
  allKindjobs = ""
1017
- for i in range(0,len(alljobs)):
1018
- allKindjobs = allKindjobs + removeTags(alljobs[i]) + ", "
1019
  allmissions = soup.select('div.fm-presentation-text')
1020
  allcompetences = soup.select('div#part2')
1021
  allcontextes = soup.select('div#part3')
@@ -1023,7 +1023,7 @@ async def getTxtFromHTMLMetier(url, codes):
1023
  return all
1024
 
1025
  @cl.step(type="tool")
1026
- async def getTxtFromHTMLStatsMetier(url, codes):
1027
  if codes.find(',') != -1:
1028
  all = ""
1029
  codeArray = codes.split(',')
@@ -1038,10 +1038,10 @@ async def getTxtFromHTMLStatsMetier(url, codes):
1038
  allDiffOrigin = soup.select('div.tabs-main-data_persp-col2')
1039
  allContrat = soup.find_all("div", class_="hiring-contract_legende_item ng-star-inserted")
1040
  allTypeContrat = ""
1041
- for i in range(0,len(allContrat)):
1042
- allTypeContrat = allTypeContrat + removeTags(allContrat[i]) + ", "
1043
- allEntreprise = soup.find_all("div", class_="horizontal-graph_patterns")
1044
- all = all + "\n\nChiffres-clés Métier " + removeTags(alltitre[0]) + ":\nDemandeurs d'emploi et Offres d'emploi : " + removeTags(allembauches[0]) + ". Salaires proposés dans les offres : " + removeTags(allsalaires[0]) + ". Salaires médians constatés : " + removeTags(allsalairesMedian[0]) + ". Difficultés de recrutement pour les entreprises : " + removeTags(allDiff[0]) + ". Origine des difficultés : " + removeTags(allDiffOrigin[0]) + ". Répartition des embauches par type de contrat : " + allTypeContrat + ". Répartition des embauches par taille d'entreprise : " + removeTags(allEntreprise[0]) + "."
1045
  else:
1046
  response = requests.get(url + codes)
1047
  soup = BeautifulSoup(response.text, "html.parser")
@@ -1053,10 +1053,10 @@ async def getTxtFromHTMLStatsMetier(url, codes):
1053
  allDiffOrigin = soup.select('div.tabs-main-data_persp-col2')
1054
  allContrat = soup.find_all("div", class_="hiring-contract_legende_item ng-star-inserted")
1055
  allTypeContrat = ""
1056
- for i in range(0,len(allContrat)):
1057
- allTypeContrat = allTypeContrat + removeTags(allContrat[i]) + ", "
1058
- allEntreprise = soup.find_all("div", class_="horizontal-graph_patterns")
1059
- all = "\n\nChiffres-clés Métier " + removeTags(alltitre[0]) + ":\nDemandeurs d'emploi et Offres d'emploi : " + removeTags(allembauches[0]) + ". Salaires proposés dans les offres : " + removeTags(allsalaires[0]) + ". Salaires médians constatés : " + removeTags(allsalairesMedian[0]) + ". Difficultés de recrutement pour les entreprises : " + removeTags(allDiff[0]) + ". Origine des difficultés : " + removeTags(allDiffOrigin[0]) + ". Répartition des embauches par type de contrat : " + allTypeContrat + ". Répartition des embauches par taille d'entreprise : " + removeTags(allEntreprise[0]) + "."
1060
  return all
1061
 
1062
  @cl.step(type="tool")
 
907
  emplois_list = ''.join(emplois)
908
  context = emplois_list.replace('[','').replace(']','').replace('{','').replace('}','')
909
  #ficheMetier = await Fiche_metier("https://www.soi-tc.fr/assets/fiches_pe/FEM_", romeListArray[0])
910
+ ficheMetier = await FicheMetier("https://candidat.francetravail.fr/metierscope/fiche-metier/", romeListArray[0]) + await ChiffresClesMetier("https://dataemploi.pole-emploi.fr/metier/chiffres-cles/NAT/FR/", romeListArray[0])
911
  ficheMetiersCompetencesSavoirs = await Fiche_metier_competences_savoirs(romeListArray[0])
912
  #metierSecteurContexteTravail = await Metier_secteur_contexte_travail(romeListArray[0])
913
  cl.user_session.set("EmploiST", context)
 
993
  return dataset
994
 
995
  @cl.step(type="tool")
996
+ async def FicheMetier(url, codes):
997
  if codes.find(',') != -1:
998
  all = ""
999
  codeArray = codes.split(',')
 
1002
  soup = BeautifulSoup(response.text, "html.parser")
1003
  alljobs = soup.select('div.fm-other-names > ul > li')
1004
  allKindjobs = ""
1005
+ for j in range(0,len(alljobs)):
1006
+ allKindjobs = allKindjobs + removeTags(alljobs[j]) + ", "
1007
  allmissions = soup.select('div.fm-presentation-text')
1008
  allcompetences = soup.select('div#part2')
1009
  allcontextes = soup.select('div#part3')
 
1014
  soup = BeautifulSoup(response.text, "html.parser")
1015
  alljobs = soup.select('div.fm-other-names > ul > li')
1016
  allKindjobs = ""
1017
+ for j in range(0,len(alljobs)):
1018
+ allKindjobs = allKindjobs + removeTags(alljobs[j]) + ", "
1019
  allmissions = soup.select('div.fm-presentation-text')
1020
  allcompetences = soup.select('div#part2')
1021
  allcontextes = soup.select('div#part3')
 
1023
  return all
1024
 
1025
  @cl.step(type="tool")
1026
+ async def ChiffresClesMetier(url, codes):
1027
  if codes.find(',') != -1:
1028
  all = ""
1029
  codeArray = codes.split(',')
 
1038
  allDiffOrigin = soup.select('div.tabs-main-data_persp-col2')
1039
  allContrat = soup.find_all("div", class_="hiring-contract_legende_item ng-star-inserted")
1040
  allTypeContrat = ""
1041
+ for j in range(0,len(allContrat)):
1042
+ allTypeContrat = allTypeContrat + removeTags(allContrat[j]) + ", "
1043
+ allEntreprise = soup.find_all("div", class_="horizontal-graph_patterns")
1044
+ all = all + "\n\nChiffres-clés Métier " + removeTags(alltitre[0]) + ":\nDemandeurs d'emploi et Offres d'emploi : " + removeTags(allembauches[0]) + ". Salaires proposés dans les offres : " + removeTags(allsalaires[0]) + ". Salaires médians constatés : " + removeTags(allsalairesMedian[0]) + ". Difficultés de recrutement pour les entreprises : " + removeTags(allDiff[0]) + ". Origine des difficultés : " + removeTags(allDiffOrigin[0]) + ". Répartition des embauches par type de contrat : " + allTypeContrat + ". Répartition des embauches par taille d'entreprise : " + removeTags(allEntreprise[0]) + "."
1045
  else:
1046
  response = requests.get(url + codes)
1047
  soup = BeautifulSoup(response.text, "html.parser")
 
1053
  allDiffOrigin = soup.select('div.tabs-main-data_persp-col2')
1054
  allContrat = soup.find_all("div", class_="hiring-contract_legende_item ng-star-inserted")
1055
  allTypeContrat = ""
1056
+ for j in range(0,len(allContrat)):
1057
+ allTypeContrat = allTypeContrat + removeTags(allContrat[j]) + ", "
1058
+ allEntreprise = soup.find_all("div", class_="horizontal-graph_patterns")
1059
+ all = "\n\nChiffres-clés Métier " + removeTags(alltitre[0]) + ":\nDemandeurs d'emploi et Offres d'emploi : " + removeTags(allembauches[0]) + ". Salaires proposés dans les offres : " + removeTags(allsalaires[0]) + ". Salaires médians constatés : " + removeTags(allsalairesMedian[0]) + ". Difficultés de recrutement pour les entreprises : " + removeTags(allDiff[0]) + ". Origine des difficultés : " + removeTags(allDiffOrigin[0]) + ". Répartition des embauches par type de contrat : " + allTypeContrat + ". Répartition des embauches par taille d'entreprise : " + removeTags(allEntreprise[0]) + "."
1060
  return all
1061
 
1062
  @cl.step(type="tool")