Now, it can retrieve the matches from yesterday, today or tomorrow.

2024-05-15-complete.txt

@@ -0,0 +1,64 @@
+
+The Strongest 4 x 0 Huachipato - Copa Libertadores - finished
+Deportivo Táchira 0 x 1 Nacional - Copa Libertadores - finished
+Alianza Lima 1 x 1 Colo-Colo - Copa Libertadores - finished
+Flamengo 4 x 0 Bolívar - Copa Libertadores - finished
+Palmeiras 2 x 1 Independiente del Valle - Copa Libertadores - finished
+Belgrano 1 x 0 Real Tomayapo - Copa Sul-Americana - finished
+Athletico-PR 1 x 2 Danúbio - Copa Sul-Americana - finished
+Lanús 5 x 0 Metropolitanos - Copa Sul-Americana - finished
+Boca Juniors 1 x 1 Fortaleza - Copa Sul-Americana - finished
+Cuiabá 1 x 1 Deportivo Garcilaso - Copa Sul-Americana - finished
+César Vallejo 2 x 2 Always Ready - Copa Sul-Americana - finished
+Ituano 1 x 0 Sport - Campeonato Brasileiro - Série B - finished
+América-MG 0 x 0 Mirassol - Campeonato Brasileiro - Série B - finished
+Brusque 0 x 0 Operário-PR - Campeonato Brasileiro - Série B - finished
+Ponte Preta 1 x 2 Santos - Campeonato Brasileiro - Série B - finished
+Paysandu 1 x 1 Goiás - Campeonato Brasileiro - Série B - finished
+Ceará 2 x 1 Amazonas - Campeonato Brasileiro - Série B - finished
+Porto Velho 1 x 2 Vilhena - Campeonato Rondoniense - finished
+Real Noroeste 2 x 3 Rio Branco-ES - Copa Espírito Santo - finished
+Sevilla 0 x 1 Cádiz - Campeonato Espanhol - finished
+Rayo Vallecano 2 x 1 Granada CF - Campeonato Espanhol - finished
+Celta de Vigo 2 x 1 Athletic Bilbao - Campeonato Espanhol - finished
+Getafe 0 x 3 Atlético Madrid - Campeonato Espanhol - finished
+Brighton 1 x 2 Chelsea - Campeonato Inglês - finished
+Manchester United 3 x 2 Newcastle - Campeonato Inglês - finished
+Nice 1 x 2 PSG - Campeonato Francês - finished
+Reims 1 x 0 Olympique Marseille - Campeonato Francês - finished
+Sudão 2 x 1 Tanzânia - Amistosos de Seleções - finished
+Trindade e Tobago 2 x 0 Guiana - Amistosos de Seleções - finished
+Guadalajara 0 x 0 América-MEX - Campeonato Mexicano - finished
+Atalanta 0 x 1 Juventus - Copa da Itália - finished
+Cincinnati 1 x 0 Atlanta United - Major League Soccer - finished
+DC United 1 x 4 New York RB - Major League Soccer - finished
+Montreal Impact 1 x 3 Columbus Crew - Major League Soccer - finished
+Orlando City 0 x 0 Inter Miami - Major League Soccer - finished
+Philadelphia Union 1 x 2 New York City - Major League Soccer - finished
+Austin 1 x 0 Houston Dynamo - Major League Soccer - finished
+Chicago Fire 0 x 1 Charlotte - Major League Soccer - finished
+Minnesota United 2 x 2 Los Angeles Galaxy - Major League Soccer - finished
+Nashville SC 2 x 0 Toronto FC - Major League Soccer - finished
+Saint Louis City 0 x 2 Los Angeles FC - Major League Soccer - finished
+Colorado Rapids 1 x 0 Vancouver Whitecaps - Major League Soccer - finished
+Real Salt Lake 2 x 0 Seattle Sounders - Major League Soccer - finished
+Portland Timbers 4 x 2 San Jose Earthquakes - Major League Soccer - finished
+Shanghai Shenhua 2 x 0 Qingdao Jonoon - Campeonato Chinês - finished
+Consadole Sapporo 1 x 0 Júbilo Iwata - Campeonato Japonês - finished
+Kashiwa Reysol 2 x 1 Shonan Bellmare - Campeonato Japonês - finished
+Tokyo Verdy 0 x 0 Gamba Osaka - Campeonato Japonês - finished
+Machida Zelvia 2 x 1 Cerezo Osaka - Campeonato Japonês - finished
+Albirex Niigata 3 x 1 Yokohama F. Marinos - Campeonato Japonês - finished
+Nagoya Grampus 3 x 1 Tokyo - Campeonato Japonês - finished
+Vissel Kobe 1 x 0 Avispa Fukuoka - Campeonato Japonês - finished
+Sanfrecce Hiroshima 1 x 3 Kashima Antlers - Campeonato Japonês - finished
+Sagan Tosu 5 x 2 Kawasaki Frontale - Campeonato Japonês - finished
+Urawa Reds 3 x 0 Kyoto Sanga - Campeonato Japonês - finished
+Gimnasia Mendoza 0 x 1 Atletico Mitre - Copa Argentina - finished
+Almirante Brown 3 x 2 San Martín Tucumán - Copa Argentina - finished
+Elfsborg 6 x 1 AIK - Campeonato Sueco - finished
+Halmstad 3 x 0 Häcken - Campeonato Sueco - finished
+Mjällby 3 x 0 Hammarby - Campeonato Sueco - finished
+Västerås SK 0 x 2 Värnamo - Campeonato Sueco - finished
+Gwangju 2 x 1 Ulsan - Campeonato Sul-Coreano - K-League - finished
+Ipojuca Sub-20 x Atlético Torres Sub-20 - Campeonato Pernambucano - Sub-20 - not started 

app.py

@@ -4,6 +4,8 @@ import gradio as gr
 from openai import OpenAI
 import google.generativeai as genai
 
+from match_info_crawler import get_matches_info
+
 
 LOAD_KEYS_FROM_FILES = False
 USE_LOCAL_ASR_PIPELINE = False
@@ -27,8 +29,8 @@ else:
     GOOGLE_API_KEY = "" if 'GOOGLE_API_KEY' not in os.environ else os.environ['GOOGLE_API_KEY']
     assert 'HUGGINGFACE_API_KEY' in os.environ, "Hugging Face API key not found in environment variables"
 
-
-USE_OPENAI_LLM = (GOOGLE_API_KEY == "")
+GOOGLE_API_KEY = ""
+USE_OPENAI_FOR_CHAT = (GOOGLE_API_KEY == "")
 
 OPENAI_CLIENT = None
 if OPENAI_API_KEY != "":
@@ -45,16 +47,17 @@ AUDIO_OUT_FILE_PREFIX = "output"   # prefixo do nome do arquivo de áudio .wav
 
 TEMPLATE_SYSTEM_MESSAGE = """Você é assistente virtual com a função é entreter uma criança de idade entre 6 e 8 anos que adora futebol. Diretrizes para a conversa: 
 - Você é {GENRE}, seu nome é {NAME}.
-- Pergunte o nome da criança. 
-- Fale sobre futebol, times, jogadores, seleções e grandes jogos. 
-- Em especial, foque no futebol do Brasil, Inglaterra e Espanha. 
 - {PERSONALITY}
+- Pergunte o nome da criança.
+- Fale sobre futebol, times, jogadores, seleções e grandes jogos.
+- Tente focar em Brasil, Inglaterra e Espanha.
+- Você também pode informar os resultados de jogos de ontem, e jogos que ocorrerão hoje ou amanhã.
 - Fale, no máximo, três frases por mensagem.
 """
 
 # Mapeia a personalidade no template e na temperatura
 PERSONALITIES = {
-    "nova": ("Sua personalidade é bastante amigável e alegre, como uma criança. Tente iniciar novos assuntos, quando a conversa estiver repetitiva. Conte piadas de futebol, de vez em quando.", 0.5, "F"),
+    "nova": ("Sua personalidade é bastante amigável e alegre, e um tanto infantil. Tente iniciar novos assuntos, quando a conversa estiver repetitiva. Conte piadas de futebol, de vez em quando.", 0.8, "F"),
     "echo": ("Sua personalidade é amigável, mas objetivo. Tente manter-se no mesmo assunto. Conte alguma curiosidade sobre um grande craque, de vez em quando.", 0.2, "M")
 }
 
@@ -62,7 +65,7 @@ INITIAL_PERSON = "nova"
 
 
 # Função para converter o histórico de chat para o formato esperado pela API do OpenAI
-def to_openai_chat_history(system_prompt, curr_message, chat_history):
+def to_openai_chat_history(system_prompt, chat_history, curr_message):
     prompt = [ { 'role': 'system', 'content': system_prompt } ]
     if len(chat_history) > 10:
         chat_history = chat_history[0:3] + chat_history[-5:]
@@ -75,37 +78,83 @@ def to_openai_chat_history(system_prompt, curr_message, chat_history):
 
 
 # Função para converter o histórico de chat para o formato esperado pela API do Google AI
-def to_google_history(curr_message, chat_history):
+def to_google_history(chat_history, curr_user_message=None):
     prompt = []
     for turn in chat_history:
         user_message, bot_message = turn
         prompt.append( {'role':'user', 'parts': [user_message]} )
         prompt.append( {'role': 'model', 'parts': [bot_message]} )
-    prompt.append( {'role': 'user', 'parts': [curr_message]} )
+    
+    if curr_user_message is not None:
+        prompt.append( {'role': 'user', 'parts': [curr_user_message]} )
     
     return prompt
 
 
-def respond(system_prompt, user_message, chat_history, temperature, voice="echo"):
-        if USE_OPENAI_LLM:
-            openai_history = to_openai_chat_history(system_prompt, user_message, chat_history)
-
-            bot_response = OPENAI_CLIENT.chat.completions.create(
-                messages=openai_history,
-                temperature=temperature,
-                model="gpt-3.5-turbo")
+import json
+
+TOOLS_SPECIFICATION_OPENAI = [
+    {
+        "type": "function",
+        "function": {
+            "name": "get_matches_info",
+            "description": "Use this function to retrieve information about matches from the most important leagues, with the time given in Brazilian timezone.",
+                           #+ "Returns a string with one matche per line; or empty string if the service is not available now.",
+            "parameters": {
+                "type": "object",
+                "properties": {
+                    "date_str": {
+                        "type": "string",
+                        "description": "Must be one of these: 'yesterday', 'today' or 'tomorrow'. No other option is valid."
+                    }
+                },
+                "required": ["date_str"],
+            },
+        }
+    }
+]
 
-            assistant_msg = bot_response.choices[0].message.content
+def respond(system_prompt, user_message, chat_history, temperature, voice="echo"):
+        if USE_OPENAI_FOR_CHAT:
+            openai_history = to_openai_chat_history(system_prompt, chat_history, user_message)
+
+            bot_response = OPENAI_CLIENT.chat.completions.create(messages=openai_history,
+                                                                 temperature=temperature,
+                                                                 tools=TOOLS_SPECIFICATION_OPENAI,
+                                                                 model="gpt-3.5-turbo-0125")
+            bot_response = bot_response.choices[0].message
+
+            if bot_response.tool_calls:
+                assert bot_response.tool_calls[0].function.name == "get_matches_info", "Invalid tool call in response."
+                print("Processing tool call...")
+
+                date_str = json.loads(bot_response.tool_calls[0].function.arguments)["date_str"]
+                results = get_matches_info(date_str)
+                openai_history.append({"role": "function", "tool_call_id": bot_response.tool_calls[0].id, "name": bot_response.tool_calls[0].function.name, "content": results})
+                
+                # nesta chamada, não passo o tools, para economizar tokens
+                bot_response = OPENAI_CLIENT.chat.completions.create(messages=openai_history,
+                                                                     temperature=temperature,
+                                                                     model="gpt-3.5-turbo-0125")
+                bot_response = bot_response.choices[0].message
+
+            assistant_msg = bot_response.content
         
         else:
             GOOGLE_GEN_CONFIG.temperature = temperature
             model = genai.GenerativeModel('gemini-1.5-pro-latest', 
                                system_instruction=system_prompt,
+                               tools=[get_matches_info],
                                generation_config=GOOGLE_GEN_CONFIG)
             
-            google_history = to_google_history(user_message, chat_history)
-            
-            bot_response = model.generate_content(google_history, generation_config=GOOGLE_GEN_CONFIG)
+            # funcionava assim antes de usar tools
+            #google_history = to_google_history(chat_history, user_message)
+            #bot_response = model.generate_content(google_history, generation_config=GOOGLE_GEN_CONFIG, tools=[get_matches_info])
+
+            google_history = to_google_history(chat_history)
+            chat = model.start_chat(history=google_history, 
+                                    enable_automatic_function_calling=True)
+            bot_response = chat.send_message(user_message)
 
             assistant_msg = bot_response.text
 
@@ -130,15 +179,15 @@ def reset_and_apply(voice):
     return [("", "Olá, vamos falar de futebol?")], AUDIO_OUT_FILE_PREFIX + f"-001-{voice}.wav"
 
 def reset_openai_client(openai_key):
-    global USE_OPENAI_LLM, OPENAI_CLIENT, OPENAI_API_KEY
-    USE_OPENAI_LLM = (GOOGLE_API_KEY == "")
+    global USE_OPENAI_FOR_CHAT, OPENAI_CLIENT, OPENAI_API_KEY
+    USE_OPENAI_FOR_CHAT = (GOOGLE_API_KEY == "")
     OPENAI_API_KEY = openai_key
     if OPENAI_API_KEY != "":
         OPENAI_CLIENT = OpenAI(api_key=OPENAI_API_KEY)
 
 def reset_google_client(google_key):
-    global GOOGLE_API_KEY, USE_OPENAI_LLM
-    USE_OPENAI_LLM = (google_key == "")
+    global GOOGLE_API_KEY, USE_OPENAI_FOR_CHAT
+    USE_OPENAI_FOR_CHAT = (google_key == "")
     GOOGLE_API_KEY = google_key
     if GOOGLE_API_KEY != "":
         genai.configure(api_key=GOOGLE_API_KEY)
@@ -211,7 +260,7 @@ with gr.Blocks() as demo:
     reset_btn = gr.Button("Reiniciar")
     
     with gr.Accordion(label="Configurações",open=False):
-        openai_key = gr.Textbox(label="OpenAI API Key", value="", placeholder="Insira a chave aqui")
+        openai_key = gr.Textbox(label="OpenAI API Key (GPT e vozes)", value="", placeholder="Insira a chave aqui")
         openai_key.change(reset_openai_client, inputs=[openai_key])
 
         #openai_key = gr.Textbox(label="Google API Key (Gemini 1.5)", value="", placeholder="Insira a chave aqui")
@@ -238,3 +287,4 @@ with gr.Blocks() as demo:
 
 
 demo.queue().launch(share=False)
+

match_info_crawler.py

@@ -0,0 +1,150 @@
+import datetime
+from datetime import timedelta
+import pytz
+
+from bs4 import BeautifulSoup
+
+import requests
+from datetime import datetime, timedelta
+
+import os
+import re
+
+import google.generativeai as genai
+
+
+with open('KEY_GOOGLE_AI', 'r') as file:  
+    GOOGLE_API_KEY = file.read().replace('\n', '')
+
+genai.configure(api_key=GOOGLE_API_KEY)
+
+
+USE_BEST_EXTRACTOR = True
+
+sao_paulo_timezone = pytz.timezone('America/Sao_Paulo')
+
+CURRENT_DATE = datetime.now(sao_paulo_timezone)
+
+
+SYSTEM_PROMPT = '''You will extract soccer match information from the text extracted from a html page, 
+and you have to output the matches in this format:
+[TEAM HOME] [SCORE HOME] x [SCORE AWAY] [TEAM AWAY] - [CHAMPIONSHIP NAME] - [START TIME / MATCH TIME]
+
+Regarding [START TIME / MATCH TIME]:
+- if the match has already started, report the elapsed time in the match
+- if it hasn't started write 'not started'
+- if the match has finished, report 'finished'
+
+More information:
+- ignore matches for youth (under-20) and women leagues
+- example output:
+```
+PSG 0 x 1 Borussia Dortmund - Champions League - finished
+Palmeiras 0 x 2 Atletico Paranaense - Campeonato Brasileiro - Série A - finished
+```
+'''
+
+
+if USE_BEST_EXTRACTOR:
+    EXTRACTOR_MODEL = genai.GenerativeModel('gemini-1.5-pro-latest', 
+                               system_instruction=SYSTEM_PROMPT)  # TODO: setar uma temperatura bem baixa!
+else:
+    EXTRACTOR_MODEL = genai.GenerativeModel('gemini-1.0-pro')
+
+
+START_MAIS_POP_SECTION = "<h3 class='match-list_league-name'>MAIS POPULARES AGORA</h3>"
+END_MAIS_POP_SECTION = "<h3 class='match-list_league-name'"
+
+
+
+def remove_between(main_string, key1, key2, to_replace=""):
+    pattern = f"{key1}(.*?){key2}"
+    return re.sub(pattern, to_replace, main_string, flags=re.DOTALL)
+
+
+def get_matches_info(date_str: str):
+    '''Returns matches info from all major leagues, including date and time in Brazilian timezone.
+    Parameters:
+    - date_str parameter is either 'yesterday', 'today' or 'tomorrow', in Brazilian timezone.
+    Returns:
+    - String with one matche per line; or empty string if the service is not available now.
+    '''
+    assert date_str in ['yesterday', 'today', 'tomorrow'], 'Invalid date_str parameter'
+    
+    if date_str == 'yesterday':
+        link = 'https://www.placardefutebol.com.br/jogos-de-ontem'
+        date = CURRENT_DATE - timedelta(days=1)
+        type = 'complete'
+    elif date_str == 'tomorrow':
+        link = 'https://www.placardefutebol.com.br/jogos-de-amanha'
+        date = CURRENT_DATE + timedelta(days=1)
+        type = 'incomplete'
+    else:
+        link = 'https://www.placardefutebol.com.br/jogos-de-hoje'
+        date = CURRENT_DATE
+        type = 'incomplete'
+    
+    # arquivo com nome igual ao 'date' desejado
+    filename = date.strftime('%Y-%m-%d') + f'-{type}.txt'
+
+    if os.path.exists(filename):
+        with open(filename, 'r', encoding='utf8') as file:
+            return file.read()
+
+    # download the page
+    try:
+        page_raw = requests.get(link)
+        page = page_raw.content.decode('utf-8')
+    except:
+        print('Error in downloading the page', link)
+        return ""
+    
+    page = remove_between(page, START_MAIS_POP_SECTION, END_MAIS_POP_SECTION, END_MAIS_POP_SECTION)
+
+    parser = BeautifulSoup(page, 'html.parser')
+    page = parser.get_text()
+
+    plain_page = page
+    plain_page = plain_page[:plain_page.rfind('[+] Mais campeonatos')]
+    plain_page = plain_page.replace('Ver tabela e classificação', '')
+    
+    plain_page = remove_between(plain_page, "Placar ao vivo de", "dos jogos de hoje.")
+    plain_page = remove_between(plain_page, "Aplicativo de", "Meu Mundial de Clubes")
+
+    new_text = plain_page
+    old_text = ''
+    while new_text != old_text:
+        old_text = new_text
+        new_text = old_text.replace('\n\n', '\n')
+    plain_page = new_text
+
+    #print("PROCESSING:\n", plain_page)
+
+    try:
+        if USE_BEST_EXTRACTOR:
+            #response = EXTRACTOR_MODEL.generate_content(plain_page)
+            response = EXTRACTOR_MODEL.generate_content("HTML PAGE TO BE PARSED: \n\n" + plain_page)
+        else:
+            prompt = "INSTRUCTIONS: \n\n" + SYSTEM_PROMPT + "\n\nHTML PAGE TO BE PARSED: \n\n" + plain_page
+            response = EXTRACTOR_MODEL.generate_content(prompt)
+    except Exception as e:
+        print('Error in generating content:')
+        print(e)
+        return ""
+
+    text_out = response.text
+    #text_out = text_out.replace('```json', '').replace('```', '')
+    text_out = text_out.replace('```', '')
+
+    # save the file
+    with open(filename, 'w', encoding='utf8') as file:
+        file.write(text_out)
+
+    return text_out
+
+
+
+if __name__ == '__main__':
+    matches_info = get_matches_info('yesterday')
+    print(matches_info)
+