System: You are an AI assistant tasked with providing a refined answer based on the original response and newly retrieved information.
User: Original response:

Make an improved version of this code, only write FULL CODE in one python file : import os
import asyncio
import gradio as gr
from collections import defaultdict
import time
from concurrent.futures import ThreadPoolExecutor
import json
import re
from typing import List, Dict, Any
from langdetect import detect
from translate import Translator
import matplotlib.pyplot as plt
import io
import base64
from PIL import Image, ImageDraw
import aiohttp
from bs4 import BeautifulSoup
from duckduckgo_search import DDGS
from gradio_client import Client

# Constants
DUCKDUCKGO_BASE_URL = "https://html.duckduckgo.com/html/?q="

# Initialize ThreadPoolExecutor
executor = ThreadPoolExecutor(max_workers=3)

# Enhanced Prompts
class Prompts:
    initial = """You are an **advanced AI assistant** capable of detailed, multi-step problem solving. Break down tasks into clear, logical steps. Explain each step thoroughly and provide a final answer. If you need additional information, use the following format for search queries IMPORTANT:

```search
{
  "queries": [
    "first search query",
    "second search query",
    "third search query",
    "etc"
  ]
}```
"""
    followup = """You are an **AI refiner** tasked with improving previous solutions. Review past attempts, provide new insights, and enhance the solution step by step.  If you need additional information, use the following format for search queries IMPORTANT:

```search
{
  "queries": [
    "first search query",
    "second search query",
    "third search query",
    "etc"
  ]
}```
"""
    contrastive = """You are an **AI challenger** tasked with providing a contrasting perspective to previous solutions. Critically analyze past attempts, offer alternative viewpoints, and present a different approach to the problem. Challenge assumptions and explore unconventional solutions.   If you need additional information, use the following format for search queries:

```search
{
  "queries": [
    "first search query",
    "second search query",
    "third search query",
    "etc"
  ]
}```
"""
    synthesis = "As an **AI synthesizer**, combine multiple solution attempts into a comprehensive answer. Compare methods, synthesize key insights, and provide a final, refined and complete answer."
    synthetic_knowledge = "Generate **synthetic information** based on existing data to aid in problem solving. Use synthetic examples and clearly label them as such."

# Enhanced Knowledge Base
class KnowledgeBase:
   def __init__(self):
       self.base = defaultdict(list)

   def add_information(self, topic: str, data: str) -> None:
       self.base[topic.lower()].append(data)

   def fetch_information(self, topic: str) -> list:
       return self.base.get(topic.lower(), [])

   def export_to_json(self, filename: str) -> None:
       with open(filename, 'w') as f:
           json.dump(dict(self.base), f)

   def import_from_json(self, filename: str) -> None:
       with open(filename, 'r') as f:
           data = json.load(f)
           self.base = defaultdict(list, data)

# Enhanced Web API Client
class WebApiClient:
   def __init__(self):
       self.base_url = DUCKDUCKGO_BASE_URL
       self.headers = {
           "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"
       }

   async def fetch_web_information(self, query: str) -> list:
       try:
           async with aiohttp.ClientSession() as session:
               async with session.post(self.base_url, data={'q': query}, headers=self.headers) as response:
                   if response.status == 200:
                       html_content = await response.text()
                       soup = BeautifulSoup(html_content, 'html.parser')
                       result_links = soup.find_all('a', class_='result__a')
                       snippets = [link.get_text() for link in result_links]
                       return snippets[:5]
                   else:
                       print(f"DuckDuckGo returned status code {response.status}")
                       return []
       except Exception as e:
           print(f"Error fetching web information from DuckDuckGo: {e}")
           return []

   async def fetch_url_content(self, url: str) -> str:
       try:
           async with aiohttp.ClientSession() as session:
               async with session.get(url, headers=self.headers, timeout=10) as response:
                   if response.status == 200:
                       html_content = await response.text()
                       soup = BeautifulSoup(html_content, 'html.parser')
                       text_content = ' '.join([tag.get_text() for tag in soup.find_all(['p', 'h1', 'h2', 'h3', 'li'])])
                       return text_content[:1000]
                   else:
                       return f"Error: Unable to fetch content from {url}"
       except Exception as e:
           return f"Error fetching content from {url}: {e}"

# Enhanced Model Client using gradio_client
class ModelClient:
    def __init__(self):
        self.client = Client("yuntian-deng/o1mini")
        self.web_client = WebApiClient()
    
    async def call_model(self, messages: list, temp: float = 0.1, tokens: int = 8000) -> str:
        # Format the messages into a prompt string
        prompt = ""
        for message in messages:
            role = message.get("role", "")
            content = message.get("content", "")
            if role == "system":
                prompt += f"System: {content}\n"
            elif role == "user":
                prompt += f"User: {content}\n"
            elif role == "assistant":
                prompt += f"Assistant: {content}\n"
        prompt += "Assistant:"

        # Prepare the inputs
        inputs = prompt

        # Call the model
        try:
            # Since gradio_client's predict is synchronous, use asyncio.to_thread to run it asynchronously
            result = await asyncio.to_thread(
                self.client.predict,
                inputs=inputs,
                top_p=1,
                temperature=temp,
                chat_counter=0,
                chatbot=[],
                api_name="/predict"
            )

            
            clean_result = "".join(result[0][-1][-1]) #.strip()
            clean_result = post_process_response(clean_result)
            print(clean_result)
            
            return clean_result
        except Exception as e:
            print(f"Error calling o1mini model: {e}")
            return "I'm sorry, but I encountered an error while processing your request."

    async def generate_synthetic_information(self, query: str, related_info: list) -> str:
        messages = [
            {"role": "system", "content": Prompts.synthetic_knowledge},
            {"role": "user", "content": f"Query: {query}\n\nExisting Info:\n{chr(10).join(related_info) if related_info else 'None'}"}
        ]
        return await self.call_model(messages)

    async def retrieve_url_content(self, url: str) -> str:
        return await self.web_client.fetch_url_content(url)

    async def process_with_url_retrieval(self, response: str, context: list = None) -> str:
        if "URL_RETRIEVAL_NEEDED:" in response:
            url = response.split("URL_RETRIEVAL_NEEDED:", 1)[1].strip()
            url_content = await self.retrieve_url_content(url)
            
            messages = [
                {"role": "system", "content": "You are an AI assistant tasked with providing a refined answer based on the original response and newly retrieved information."},
                {"role": "user", "content": f"Original response:\n\n{response}\n\nRetrieved content from {url}:\n\n{url_content}\n\nPlease provide a refined and more accurate answer based on this additional information."}
            ]
            
            refined_response = await self.call_model(messages)
            return f"Refined answer based on data from {url}:\n\n{refined_response}"
        else:
            return response

def post_process_response(text: str) -> str:
    """
    Cleans the LLM response by removing Markdown headers and HTML tags.

    Args:
        text (str): The raw response from the LLM.

    Returns:
        str: The cleaned text.
    """
    # Remove Markdown headers (e.g., ### Heading)
    text = re.sub(r'^#{1,6}\s*', '', text, flags=re.MULTILINE)

    # Remove horizontal rules
    text = re.sub(r'^---$', '', text, flags=re.MULTILINE)

    # Remove HTML tags
    soup = BeautifulSoup(text, 'html.parser')
    text = soup.get_text(separator='\n')  # You can choose a different separator if needed

    # Optionally, remove extra newlines and whitespace
    text = re.sub(r'\n{2,}', '\n\n', text)
    #text = text.strip()

    return text

# Enhanced LLM Search Extension
class LLMSearchExtension:
   def __init__(self):
       self.search_engine = SearchEngineManager()
       self.result_processor = ResultProcessor()
       self.content_retriever = ContentRetriever()
       self.output_formatter = OutputFormatter()

   async def handle_query(self, query, context=None, options=None):
       options = options or {}
       raw_results = await self.search_engine.execute_search(query, options)
       processed_results = self.result_processor.process(raw_results, context)
       enriched_results = await self.content_retriever.retrieve(processed_results, options)
       formatted_results = self.output_formatter.format(enriched_results)
       return formatted_results

# Enhanced Search Layer
class DuckDuckGoSearch:
   async def search(self, query, options):
       max_results = options.get('max_results', 5)
       loop = asyncio.get_event_loop()
       results = await loop.run_in_executor(
           executor,
           lambda: list(DDGS().text(query, max_results=max_results))
       )
       return results

class SearchEngineManager:
   def __init__(self):
       self.engines = {
           'duckduckgo': DuckDuckGoSearch(),
       }

   async def execute_search(self, query, options):
       engine_name = options.get('engine', 'duckduckgo')
       search_engine = self.engines.get(engine_name)
       if not search_engine:
           raise ValueError(f"Search engine '{engine_name}' not supported.")
       return await search_engine.search(query[:50], options)

# Enhanced Processing Layer
class ResultProcessor:
   def process(self, raw_results, context):
       processed_results = []
       for result in raw_results:
           summary = self.summarize(result.get('body', '') if isinstance(result, dict) else result, context)
           processed_results.append({
               'title': result.get('title', '') if isinstance(result, dict) else result,
               'summary': summary,
               'url': result.get('href', '') if isinstance(result, dict) else '',
           })
       return processed_results

   def summarize(self, text, context):
       return text[:200] + '...'

# Enhanced Content Retrieval Layer
class ContentRetriever:
   async def retrieve(self, processed_results, options):
       relevant_tags = options.get('relevant_tags', ['p', 'h1', 'h2'])
       tasks = [self.process_result(result, relevant_tags) for result in processed_results]
       enriched_results = await asyncio.gather(*tasks)
       return enriched_results

   async def process_result(self, result, tags):
       url = result['url']
       if not url:
           result['extracted_content'] = "No URL provided."
           return result
       try:
           page_content = await self.fetch_page(url)
           extracted_content = self.extract_content(page_content, tags)
           result['extracted_content'] = extracted_content
       except Exception as e:
           result['extracted_content'] = f"Error fetching content: {e}"
       return result

   async def fetch_page(self, url):
       headers = {'User-Agent': 'Mozilla/5.0'}
       async with aiohttp.ClientSession() as session:
           async with session.get(url, headers=headers, timeout=10) as response:
               response.raise_for_status()
               return await response.text()

   def extract_content(self, html_content, tags):
       soup = BeautifulSoup(html_content, 'html.parser')
       extracted_texts = []
       for tag in tags:
           for element in soup.find_all(tag):
               text = element.get_text(strip=True)
               if text:
                   extracted_texts.append(text)
       return ' '.join(extracted_texts)

# Enhanced Output Layer
class OutputFormatter:
   def format(self, enriched_results):
       return enriched_results

# Enhanced Processing Steps
class ProcessingSteps:
   def __init__(self, model_client: ModelClient, knowledge_base: KnowledgeBase, search_extension: LLMSearchExtension):
       self.model_client = model_client
       self.knowledge_base = knowledge_base
       self.search_extension = search_extension
       self.translator = Translator(to_lang="en")

   async def generate_search_tags(self, query: str, context: list = None) -> list:
       messages = [
           {"role": "system", "content": """Generate search queries based on the following query and context.
            use the following format for search queries:

```search
{
  "queries": [
    "first search query",
    "second search query",
    "third search query",
  ]
}```
            """},
           {"role": "user", "content": f"Query: {query}\nContext: {chr(10).join(context) if context else 'None'}"}
       ]
       response = await self.model_client.call_model(messages)
       response = json.loads(response)
       tags = [tag.strip() for tag in response["queries"] if tag.strip()]
       return tags

   async def processing_step(self, query: str, prev_steps: list = None, current_iteration: int = 1, progress: gr.Progress = None) -> (list, list):
        is_first = current_iteration == 1
        relevant_info = []
        all_tags = set()

        context = prev_steps if not is_first else []

        # Detect language and translate if necessary
        detected_lang = detect(query)
        if detected_lang != 'en':
            query = self.translator.translate(query)

        # URL retrieval step
        url_retrieval_response = await self.model_client.process_with_url_retrieval(query, context)
        if "Refined answer based on data from " in url_retrieval_response:
            relevant_info.append(url_retrieval_response)

        search_tags = await self.generate_search_tags(query, context)
        all_tags.update(search_tags)

        search_tags = search_tags[:3]
        for tag in search_tags:
            search_options = {
                'engine': 'duckduckgo',
                'max_results': 3,
                'relevant_tags': ['p', 'h1', 'h2']
            }
            search_results = await self.search_extension.handle_query(tag, context=None, options=search_options)
            for res in search_results:
                if res.get('summary'):
                    relevant_info.append(res['summary'])

        print(":::relevantinfofromweb:::")
        print(relevant_info)

        for topic in self.knowledge_base.base:
            if topic in query.lower():
                relevant_info.extend(self.knowledge_base.fetch_information(topic))

        if not relevant_info and not is_first:
            synthetic_info = await self.model_client.generate_synthetic_information(query, related_info=[])
            relevant_info.append(f"Synthetic Information: {synthetic_info}")

        if is_first:
            system_prompt = Prompts.initial
        elif current_iteration in [2, 4]:
            system_prompt = Prompts.contrastive
        else:
            system_prompt = Prompts.followup

        prev_content = "\n\n".join(prev_steps) if prev_steps else ""
        messages = [
            {"role": "system", "content": system_prompt},
            {"role": "user", "content": f"Query: {query}\n\nIteration: {current_iteration}\n\nPrevious Attempts:\n{prev_content}\n\nRelevant Info:\n{chr(10).join(relevant_info) if relevant_info else 'None'}"}
        ]

        step_response = await self.model_client.call_model(messages)

        # Check for immediate URL retrieval
        if "URL_RETRIEVAL_NEEDED:" in step_response:
            step_response = await self.model_client.process_with_url_retrieval(step_response, context)

        steps = prev_steps or []
        steps.append(step_response)

        new_search_queries = self.extract_search_commands(step_response)
        for search_query in new_search_queries:
            search_results = await self.search_extension.handle_query(search_query, context=None, options={'engine': 'duckduckgo', 'max_results': 3, 'relevant_tags': ['p', 'h1', 'h2']})
            for res in search_results:
                if res.get('summary'):
                    relevant_info.append(f"Search for '{search_query}': {res['summary']}")

        new_tags = await self.generate_search_tags(query, steps)
        all_tags.update(new_tags)

        return list(all_tags), steps

   
   def extract_search_commands(self, response: str) -> list:
        search_commands = []
        
        # Use the updated regex to find JSON-like blocks in the response
        search_blocks = re.findall(r'{\s*"queries":\s*\[.*?\]\s*}', response, re.DOTALL)
        
        # Loop through each block and try to parse it as JSON
        for block in search_blocks:
            try:
                # Load the block as JSON
                search_data = json.loads(block)
                
                # Ensure it's a dictionary and contains the 'queries' key
                if isinstance(search_data, dict) and 'queries' in search_data:
                    # Extend the search_commands list with the queries found in the block
                    search_commands.extend(search_data['queries'])
            except json.JSONDecodeError:
                # Handle the case where the block isn't valid JSON
                print(f"Error parsing search block: {block}")
        
        # Return the list of search commands (queries)
        return search_commands

   async def synthesize_steps(self, query: str, all_steps: list) -> str:
       steps_text = "\n\n".join([f"Attempt {i+1}:\n{step}" for i, step in enumerate(all_steps)])
       messages = [
           {"role": "system", "content": Prompts.synthesis},
           {"role": "user", "content": f"Original Query: {query}\n\nAll Attempts:\n{steps_text}"}
       ]
       return await self.model_client.call_model(messages)

# Modify the full_processing function
async def full_processing(query: str, progress: gr.Progress) -> tuple:
    start_time = time.time()
    steps = []
    final_output = f"# Detailed Processing\n\n## Query\n{query}\n\n"

    max_iterations = 5
    current_iteration = 0
    new_tags = None

    metrics = {
        'Iterations': 0,
        'Total Attempt Time (s)': 0.0,
        'Synthesis Time (s)': 0.0,
        'Total Time (s)': 0.0,
        'Web Searches': 0,
        'Knowledge Base Accesses': 0
    }

    while current_iteration < max_iterations:
        current_iteration += 1
        metrics['Iterations'] = current_iteration
        progress_step = (current_iteration) / (max_iterations + 1)
        progress(progress_step, desc=f"Processing iteration {current_iteration}...")

        step_start = time.time()
        new_tags, steps = await processing_steps.processing_step(query, steps, current_iteration, progress=progress)
        step_duration = time.time() - step_start
        metrics['Total Attempt Time (s)'] += step_duration

        metrics['Web Searches'] += len(processing_steps.extract_search_commands(steps[-1]))
        metrics['Knowledge Base Accesses'] += sum(1 for topic in knowledge_base.base if topic in query.lower())

        approach_type = "Contrastive" if current_iteration in [2, 4] else "Regular"
        final_output += f"## Attempt {current_iteration} ({approach_type} Approach)\n{steps[-1]}\n\n"

        # Check for URL retrieval after generation
        if "Refined answer based on data from " in steps[-1]:
            progress(progress_step, desc="Retrieving additional information...")
            refined_response = await processing_steps.model_client.process_with_url_retrieval(steps[-1], context=steps)
            steps[-1] = refined_response
            final_output = final_output.rsplit("##", 1)[0]  # Remove the last attempt
            final_output += f"## Attempt {current_iteration} (Refined with URL data)\n{refined_response}\n\n"

        # Update UI after each attempt
        yield update_ui(final_output, metrics)

        if not new_tags and current_iteration >= 4:
            break

    progress(0.9, desc="Synthesizing final answer...")
    synthesis_start = time.time()
    synthesis = await processing_steps.synthesize_steps(query, steps)
    synthesis_duration = time.time() - synthesis_start
    metrics['Synthesis Time (s)'] += synthesis_duration
    final_output += f"## Final Synthesis\n{synthesis}\n\n"

    # Check for URL retrieval after final synthesis
    if "Refined answer based on data from " in synthesis:
        progress(0.95, desc="Retrieving additional information for final refinement...")
        refined_synthesis = await processing_steps.model_client.process_with_url_retrieval(synthesis, context=steps)
        synthesis = refined_synthesis
        final_output = final_output.rsplit("##", 1)[0]  # Remove the last synthesis
        final_output += f"## Final Synthesis (Refined with URL data)\n{refined_synthesis}\n\n"
    
    end_time = time.time()
    metrics['Total Time (s)'] = end_time - start_time

    final_output += generate_timing_info(metrics)
    
    yield update_ui(final_output, metrics)

def generate_timing_info(metrics):
   return f"""## Timing Information
- Number of Iterations: {metrics['Iterations']}
- Time for Attempts: {metrics['Total Attempt Time (s)']:.2f}s
- Synthesis Time: {metrics['Synthesis Time (s)']:.2f}s
- Total Time: {metrics['Total Time (s)']:.2f}s
- Web Searches: {metrics['Web Searches']}
- Knowledge Base Accesses: {metrics['Knowledge Base Accesses']}
"""

def update_ui(final_output, metrics):
   metrics_markdown = f"""
   ## Processing Metrics
   - **Iterations**: {metrics['Iterations']}
   - **Time for Attempts**: {metrics['Total Attempt Time (s)']:.2f}s
   - **Synthesis Time**: {metrics['Synthesis Time (s)']:.2f}s
   - **Total Time**: {metrics['Total Time (s)']:.2f}s
   - **Web Searches**: {metrics['Web Searches']}
   - **Knowledge Base Accesses**: {metrics['Knowledge Base Accesses']}
   """

   graph_base64 = generate_performance_graph(metrics)
   
   return final_output, metrics_markdown, f"data:image/png;base64,{graph_base64}"

def generate_performance_graph(metrics):
   fig, ax = plt.subplots()
   ax.bar(metrics.keys(), metrics.values())
   ax.set_title('Processing Performance Metrics')
   ax.set_ylabel('Value')
   plt.xticks(rotation=45, ha='right')
   plt.tight_layout()
   
   buf = io.BytesIO()
   plt.savefig(buf, format='png')
   buf.seek(0)
   
   return base64.b64encode(buf.getvalue()).decode()

def capture_screenshot(html_content):
   # Convert HTML to image (this is a simplified version, you might need to use a more robust solution)
   img = Image.new('RGB', (800, 600), color = (255, 255, 255))
   d = ImageDraw.Draw(img)
   d.text((10,10), html_content, fill=(0,0,0))
   
   buffered = io.BytesIO()
   img.save(buffered, format="PNG")
   img_str = base64.b64encode(buffered.getvalue()).decode()
   return f"data:image/png;base64,{img_str}"

# Modify the gradio_handler function
async def gradio_handler(query: str, progress: gr.Progress = gr.Progress()):
    output_generator = full_processing(query, progress)
    final_output = ""
    first_generation = True
    async for output, metrics_markdown, graph_data_url in output_generator:
        final_output = output
        loader_visibility = gr.update(visible=False) if first_generation else gr.update()
        yield output, metrics_markdown, gr.update(value=graph_data_url, visible=True), loader_visibility
        first_generation = False
    
    # Final yield to ensure the last update is sent
    yield final_output, metrics_markdown, gr.update(value=graph_data_url, visible=True), gr.update(visible=False)

# Enhanced Custom CSS for styling
custom_css = """
.gradio-container {
   font-family: 'Segoe UI', Tahoma, Geneva, Verdana, sans-serif;
   background-color: #f5f7fa;
   color: #333;
   padding: 20px;
}

h1 {
   color: #4a90e2;
   text-align: center;
   margin-bottom: 20px;
}

#query-input textarea {
   border: 2px solid #4a90e2;
   border-radius: 8px;
   padding: 10px;
   font-size: 16px;
   resize: vertical;
}

#submit-button, #screenshot-button {
   background-color: #4a90e2;
   color: white;
   font-size: 18px;
   padding: 10px 20px;
   border-radius: 8px;
   border: none;
   cursor: pointer;
   transition: background-color 0.3s ease;
}

#submit-button:hover, #screenshot-button:hover {
   background-color: #357abd;
}

#output-display, #metrics-display {
   background-color: #ffffff;
   border: 2px solid #4a90e2;
   border-radius: 8px;
   padding: 20px;
   font-size: 16px;
   overflow: auto !important;
   max-height: 600px;
   margin-top: 20px;
   box-shadow: 0 4px 6px rgba(0, 0, 0, 0.1);
}


#loader-overlay {
    display:none;
    position: fixed;
    top: 0;
    left: 0;
    width: 0%;
    height: 0%;
    background-color: rgba(255, 255, 255, 0.8);
    display: flex;
    justify-content: center;
    align-items: center;
    z-index: 1000;
}
.pending{
opacity:1 !important;
}
.loader {
    border: 8px solid #f3f3f3;
    border-top: 8px solid #4a90e2;
    border-radius: 50%;
    width: 60px;
    height: 60px;
    animation: spin 1s linear infinite;
}

@keyframes spin {
   0% { transform: rotate(0deg); }
   100% { transform: rotate(360deg); }
}

@media only screen and (max-width: 768px) {
   .gradio-container .row {
       flex-direction: column;
   }

   #output-display, #metrics-display {
       max-height: 400px;
   }
}
"""

# Initialize components
knowledge_base = KnowledgeBase()
knowledge_base.add_information("python", "Python is a versatile programming language used for various applications.")
knowledge_base.add_information("asyncio", "Asyncio is a library to write concurrent code using the async/await syntax.")

search_extension = LLMSearchExtension()

# Initialize ModelClient without GROQ_API_KEY
model_client = ModelClient()

processing_steps = ProcessingSteps(model_client, knowledge_base, search_extension)

# Create the Enhanced Gradio interface
with gr.Blocks(css=custom_css) as interface:
    gr.Markdown("""
    # 🧠 Advanced Multi-Step Processing Assistant
    **Enter a query to see detailed multi-step processing with integrated knowledge, web information retrieval, dynamic search capabilities, and synthesis.**
    """)

    with gr.Row():
        with gr.Column(scale=1):
            query_input = gr.Textbox(
                label="Enter your query",
                placeholder="e.g., What is the tallest mountain in the world?",
                lines=2,
                max_lines=5,
                elem_id="query-input"
            )
            submit_button = gr.Button("Submit", elem_id="submit-button")
        with gr.Column(scale=1):
            metrics_display = gr.Markdown(
                label="## Processing Metrics",
                value="Awaiting input...",
                elem_id="metrics-display"
            )

    with gr.Row():
        output_display = gr.Markdown(
            label="## Processing Steps",
            value="Awaiting input...",
            elem_id="output-display"
        )

    with gr.Row():
        performance_graph = gr.Image(label="Performance Metrics Graph", visible=False)

    with gr.Row():
        loader = gr.Markdown(
            value="""
            <div class="loader"></div>
            """,
            visible=False,
            elem_id="loader-overlay"
        )

    with gr.Row():
        screenshot_button = gr.Button("Capture Screenshot", elem_id="screenshot-button")
        screenshot_output = gr.Image(label="Screenshot", visible=False)

    submit_button.click(
        fn=gradio_handler,
        inputs=[query_input],
        outputs=[output_display, metrics_display, performance_graph, loader],
        show_progress=False
    )

    def take_screenshot():
        screenshot = capture_screenshot(output_display.value)
        return gr.update(value=screenshot, visible=True)

    screenshot_button.click(
        fn=take_screenshot,
        inputs=[],
        outputs=[screenshot_output]
    )

# Launch Gradio interface
if __name__ == "__main__":
   interface.launch(share=True)


Retrieved content from " in response:
            url = response.split("URL_RETRIEVAL_NEEDED:", 1)[1].strip()
            url_content = await self.retrieve_url_content(url)
            
            messages = [
                {"role": "system", "content": "You are an AI assistant tasked with providing a refined answer based on the original response and newly retrieved information."},
                {"role": "user", "content": f"Original response:\n\n{response}\n\nRetrieved content from {url}:\n\n{url_content}\n\nPlease provide a refined and more accurate answer based on this additional information."}
            ]
            
            refined_response = await self.call_model(messages)
            return f"Refined answer based on data from {url}:\n\n{refined_response}"
        else:
            return response

def post_process_response(text: str) -> str:
    """
    Cleans the LLM response by removing Markdown headers and HTML tags.

    Args:
        text (str): The raw response from the LLM.

    Returns:
        str: The cleaned text.
    """
    # Remove Markdown headers (e.g., ### Heading)
    text = re.sub(r'^#{1,6}\s*', '', text, flags=re.MULTILINE)

    # Remove horizontal rules
    text = re.sub(r'^---$', '', text, flags=re.MULTILINE)

    # Remove HTML tags
    soup = BeautifulSoup(text, 'html.parser')
    text = soup.get_text(separator='\n')  # You can choose a different separator if needed

    # Optionally, remove extra newlines and whitespace
    text = re.sub(r'\n{2,}', '\n\n', text)
    #text = text.strip()

    return text

# Enhanced LLM Search Extension
class LLMSearchExtension:
   def __init__(self):
       self.search_engine = SearchEngineManager()
       self.result_processor = ResultProcessor()
       self.content_retriever = ContentRetriever()
       self.output_formatter = OutputFormatter()

   async def handle_query(self, query, context=None, options=None):
       options = options or {}
       raw_results = await self.search_engine.execute_search(query, options)
       processed_results = self.result_processor.process(raw_results, context)
       enriched_results = await self.content_retriever.retrieve(processed_results, options)
       formatted_results = self.output_formatter.format(enriched_results)
       return formatted_results

# Enhanced Search Layer
class DuckDuckGoSearch:
   async def search(self, query, options):
       max_results = options.get('max_results', 5)
       loop = asyncio.get_event_loop()
       results = await loop.run_in_executor(
           executor,
           lambda: list(DDGS().text(query, max_results=max_results))
       )
       return results

class SearchEngineManager:
   def __init__(self):
       self.engines = {
           'duckduckgo': DuckDuckGoSearch(),
       }

   async def execute_search(self, query, options):
       engine_name = options.get('engine', 'duckduckgo')
       search_engine = self.engines.get(engine_name)
       if not search_engine:
           raise ValueError(f"Search engine '{engine_name}' not supported.")
       return await search_engine.search(query[:50], options)

# Enhanced Processing Layer
class ResultProcessor:
   def process(self, raw_results, context):
       processed_results = []
       for result in raw_results:
           summary = self.summarize(result.get('body', '') if isinstance(result, dict) else result, context)
           processed_results.append({
               'title': result.get('title', '') if isinstance(result, dict) else result,
               'summary': summary,
               'url': result.get('href', '') if isinstance(result, dict) else '',
           })
       return processed_results

   def summarize(self, text, context):
       return text[:200] + '...'

# Enhanced Content Retrieval Layer
class ContentRetriever:
   async def retrieve(self, processed_results, options):
       relevant_tags = options.get('relevant_tags', ['p', 'h1', 'h2'])
       tasks = [self.process_result(result, relevant_tags) for result in processed_results]
       enriched_results = await asyncio.gather(*tasks)
       return enriched_results

   async def process_result(self, result, tags):
       url = result['url']
       if not url:
           result['extracted_content'] = "No URL provided."
           return result
       try:
           page_content = await self.fetch_page(url)
           extracted_content = self.extract_content(page_content, tags)
           result['extracted_content'] = extracted_content
       except Exception as e:
           result['extracted_content'] = f"Error fetching content: {e}"
       return result

   async def fetch_page(self, url):
       headers = {'User-Agent': 'Mozilla/5.0'}
       async with aiohttp.ClientSession() as session:
           async with session.get(url, headers=headers, timeout=10) as response:
               response.raise_for_status()
               return await response.text()

   def extract_content(self, html_content, tags):
       soup = BeautifulSoup(html_content, 'html.parser')
       extracted_texts = []
       for tag in tags:
           for element in soup.find_all(tag):
               text = element.get_text(strip=True)
               if text:
                   extracted_texts.append(text)
       return ' '.join(extracted_texts)

# Enhanced Output Layer
class OutputFormatter:
   def format(self, enriched_results):
       return enriched_results

# Enhanced Processing Steps
class ProcessingSteps:
   def __init__(self, model_client: ModelClient, knowledge_base: KnowledgeBase, search_extension: LLMSearchExtension):
       self.model_client = model_client
       self.knowledge_base = knowledge_base
       self.search_extension = search_extension
       self.translator = Translator(to_lang="en")

   async def generate_search_tags(self, query: str, context: list = None) -> list:
       messages = [
           {"role": "system", "content": """Generate search queries based on the following query and context.
            use the following format for search queries:

```search
{
  "queries": [
    "first search query",
    "second search query",
    "third search query",
  ]
}```
            """},
           {"role": "user", "content": f"Query: {query}\nContext: {chr(10).join(context) if context else 'None'}"}
       ]
       response = await self.model_client.call_model(messages)
       response = json.loads(response)
       tags = [tag.strip() for tag in response["queries"] if tag.strip()]
       return tags

   async def processing_step(self, query: str, prev_steps: list = None, current_iteration: int = 1, progress: gr.Progress = None) -> (list, list):
        is_first = current_iteration == 1
        relevant_info = []
        all_tags = set()

        context = prev_steps if not is_first else []

        # Detect language and translate if necessary
        detected_lang = detect(query)
        if detected_lang != 'en':
            query = self.translator.translate(query)

        # URL retrieval step
        url_retrieval_response = await self.model_client.process_with_url_retrieval(query, context)
        if "Refined answer based on data from " in url_retrieval_response:
            relevant_info.append(url_retrieval_response)

        search_tags = await self.generate_search_tags(query, context)
        all_tags.update(search_tags)

        search_tags = search_tags[:3]
        for tag in search_tags:
            search_options = {
                'engine': 'duckduckgo',
                'max_results': 3,
                'relevant_tags': ['p', 'h1', 'h2']
            }
            search_results = await self.search_extension.handle_query(tag, context=None, options=search_options)
            for res in search_results:
                if res.get('summary'):
                    relevant_info.append(res['summary'])

        print(":::relevantinfofromweb:::")
        print(relevant_info)

        for topic in self.knowledge_base.base:
            if topic in query.lower():
                relevant_info.extend(self.knowledge_base.fetch_information(topic))

        if not relevant_info and not is_first:
            synthetic_info = await self.model_client.generate_synthetic_information(query, related_info=[])
            relevant_info.append(f"Synthetic Information: {synthetic_info}")

        if is_first:
            system_prompt = Prompts.initial
        elif current_iteration in [2, 4]:
            system_prompt = Prompts.contrastive
        else:
            system_prompt = Prompts.followup

        prev_content = "\n\n".join(prev_steps) if prev_steps else ""
        messages = [
            {"role": "system", "content": system_prompt},
            {"role": "user", "content": f"Query: {query}\n\nIteration: {current_iteration}\n\nPrevious Attempts:\n{prev_content}\n\nRelevant Info:\n{chr(10).join(relevant_info) if relevant_info else 'None'}"}
        ]

        step_response = await self.model_client.call_model(messages)

        # Check for immediate URL retrieval
        if "URL_RETRIEVAL_NEEDED:" in step_response:
            step_response = await self.model_client.process_with_url_retrieval(step_response, context)

        steps = prev_steps or []
        steps.append(step_response)

        new_search_queries = self.extract_search_commands(step_response)
        for search_query in new_search_queries:
            search_results = await self.search_extension.handle_query(search_query, context=None, options={'engine': 'duckduckgo', 'max_results': 3, 'relevant_tags': ['p', 'h1', 'h2']})
            for res in search_results:
                if res.get('summary'):
                    relevant_info.append(f"Search for '{search_query}': {res['summary']}")

        new_tags = await self.generate_search_tags(query, steps)
        all_tags.update(new_tags)

        return list(all_tags), steps

   
   def extract_search_commands(self, response: str) -> list:
        search_commands = []
        
        # Use the updated regex to find JSON-like blocks in the response
        search_blocks = re.findall(r'{\s*"queries":\s*\[.*?\]\s*}', response, re.DOTALL)
        
        # Loop through each block and try to parse it as JSON
        for block in search_blocks:
            try:
                # Load the block as JSON
                search_data = json.loads(block)
                
                # Ensure it's a dictionary and contains the 'queries' key
                if isinstance(search_data, dict) and 'queries' in search_data:
                    # Extend the search_commands list with the queries found in the block
                    search_commands.extend(search_data['queries'])
            except json.JSONDecodeError:
                # Handle the case where the block isn't valid JSON
                print(f"Error parsing search block: {block}")
        
        # Return the list of search commands (queries)
        return search_commands

   async def synthesize_steps(self, query: str, all_steps: list) -> str:
       steps_text = "\n\n".join([f"Attempt {i+1}:\n{step}" for i, step in enumerate(all_steps)])
       messages = [
           {"role": "system", "content": Prompts.synthesis},
           {"role": "user", "content": f"Original Query: {query}\n\nAll Attempts:\n{steps_text}"}
       ]
       return await self.model_client.call_model(messages)

# Modify the full_processing function
async def full_processing(query: str, progress: gr.Progress) -> tuple:
    start_time = time.time()
    steps = []
    final_output = f"# Detailed Processing\n\n## Query\n{query}\n\n"

    max_iterations = 5
    current_iteration = 0
    new_tags = None

    metrics = {
        'Iterations': 0,
        'Total Attempt Time (s)': 0.0,
        'Synthesis Time (s)': 0.0,
        'Total Time (s)': 0.0,
        'Web Searches': 0,
        'Knowledge Base Accesses': 0
    }

    while current_iteration < max_iterations:
        current_iteration += 1
        metrics['Iterations'] = current_iteration
        progress_step = (current_iteration) / (max_iterations + 1)
        progress(progress_step, desc=f"Processing iteration {current_iteration}...")

        step_start = time.time()
        new_tags, steps = await processing_steps.processing_step(query, steps, current_iteration, progress=progress)
        step_duration = time.time() - step_start
        metrics['Total Attempt Time (s)'] += step_duration

        metrics['Web Searches'] += len(processing_steps.extract_search_commands(steps[-1]))
        metrics['Knowledge Base Accesses'] += sum(1 for topic in knowledge_base.base if topic in query.lower())

        approach_type = "Contrastive" if current_iteration in [2, 4] else "Regular"
        final_output += f"## Attempt {current_iteration} ({approach_type} Approach)\n{steps[-1]}\n\n"

        # Check for URL retrieval after generation
        if "Refined answer based on data from " in steps[-1]:
            progress(progress_step, desc="Retrieving additional information...")
            refined_response = await processing_steps.model_client.process_with_url_retrieval(steps[-1], context=steps)
            steps[-1] = refined_response
            final_output = final_output.rsplit("##", 1)[0]  # Remove the last attempt
            final_output += f"## Attempt {current_iteration} (Refined with URL data)\n{refined_response}\n\n"

        # Update UI after each attempt
        yield update_ui(final_output, metrics)

        if not new_tags and current_iteration >= 4:
            break

    progress(0.9, desc="Synthesizing final answer...")
    synthesis_start = time.time()
    synthesis = await processing_steps.synthesize_steps(query, steps)
    synthesis_duration = time.time() - synthesis_start
    metrics['Synthesis Time (s)'] += synthesis_duration
    final_output += f"## Final Synthesis\n{synthesis}\n\n"

    # Check for URL retrieval after final synthesis
    if "Refined answer based on data from " in synthesis:
        progress(0.95, desc="Retrieving additional information for final refinement...")
        refined_synthesis = await processing_steps.model_client.process_with_url_retrieval(synthesis, context=steps)
        synthesis = refined_synthesis
        final_output = final_output.rsplit("##", 1)[0]  # Remove the last synthesis
        final_output += f"## Final Synthesis (Refined with URL data)\n{refined_synthesis}\n\n"
    
    end_time = time.time()
    metrics['Total Time (s)'] = end_time - start_time

    final_output += generate_timing_info(metrics)
    
    yield update_ui(final_output, metrics)

def generate_timing_info(metrics):
   return f"""## Timing Information
- Number of Iterations: {metrics['Iterations']}
- Time for Attempts: {metrics['Total Attempt Time (s)']:.2f}s
- Synthesis Time: {metrics['Synthesis Time (s)']:.2f}s
- Total Time: {metrics['Total Time (s)']:.2f}s
- Web Searches: {metrics['Web Searches']}
- Knowledge Base Accesses: {metrics['Knowledge Base Accesses']}
"""

def update_ui(final_output, metrics):
   metrics_markdown = f"""
   ## Processing Metrics
   - **Iterations**: {metrics['Iterations']}
   - **Time for Attempts**: {metrics['Total Attempt Time (s)']:.2f}s
   - **Synthesis Time**: {metrics['Synthesis Time (s)']:.2f}s
   - **Total Time**: {metrics['Total Time (s)']:.2f}s
   - **Web Searches**: {metrics['Web Searches']}
   - **Knowledge Base Accesses**: {metrics['Knowledge Base Accesses']}
   """

   graph_base64 = generate_performance_graph(metrics)
   
   return final_output, metrics_markdown, f"data:image/png;base64,{graph_base64}"

def generate_performance_graph(metrics):
   fig, ax = plt.subplots()
   ax.bar(metrics.keys(), metrics.values())
   ax.set_title('Processing Performance Metrics')
   ax.set_ylabel('Value')
   plt.xticks(rotation=45, ha='right')
   plt.tight_layout()
   
   buf = io.BytesIO()
   plt.savefig(buf, format='png')
   buf.seek(0)
   
   return base64.b64encode(buf.getvalue()).decode()

def capture_screenshot(html_content):
   # Convert HTML to image (this is a simplified version, you might need to use a more robust solution)
   img = Image.new('RGB', (800, 600), color = (255, 255, 255))
   d = ImageDraw.Draw(img)
   d.text((10,10), html_content, fill=(0,0,0))
   
   buffered = io.BytesIO()
   img.save(buffered, format="PNG")
   img_str = base64.b64encode(buffered.getvalue()).decode()
   return f"data:image/png;base64,{img_str}"

# Modify the gradio_handler function
async def gradio_handler(query: str, progress: gr.Progress = gr.Progress()):
    output_generator = full_processing(query, progress)
    final_output = ""
    first_generation = True
    async for output, metrics_markdown, graph_data_url in output_generator:
        final_output = output
        loader_visibility = gr.update(visible=False) if first_generation else gr.update()
        yield output, metrics_markdown, gr.update(value=graph_data_url, visible=True), loader_visibility
        first_generation = False
    
    # Final yield to ensure the last update is sent
    yield final_output, metrics_markdown, gr.update(value=graph_data_url, visible=True), gr.update(visible=False)

# Enhanced Custom CSS for styling
custom_css = """
.gradio-container {
   font-family: 'Segoe UI', Tahoma, Geneva, Verdana, sans-serif;
   background-color: #f5f7fa;
   color: #333;
   padding: 20px;
}

h1 {
   color: #4a90e2;
   text-align: center;
   margin-bottom: 20px;
}

#query-input textarea {
   border: 2px solid #4a90e2;
   border-radius: 8px;
   padding: 10px;
   font-size: 16px;
   resize: vertical;
}

#submit-button, #screenshot-button {
   background-color: #4a90e2;
   color: white;
   font-size: 18px;
   padding: 10px 20px;
   border-radius: 8px;
   border: none;
   cursor: pointer;
   transition: background-color 0.3s ease;
}

#submit-button:hover, #screenshot-button:hover {
   background-color: #357abd;
}

#output-display, #metrics-display {
   background-color: #ffffff;
   border: 2px solid #4a90e2;
   border-radius: 8px;
   padding: 20px;
   font-size: 16px;
   overflow: auto !important;
   max-height: 600px;
   margin-top: 20px;
   box-shadow: 0 4px 6px rgba(0, 0, 0, 0.1);
}


#loader-overlay {
    display:none;
    position: fixed;
    top: 0;
    left: 0;
    width: 0%;
    height: 0%;
    background-color: rgba(255, 255, 255, 0.8);
    display: flex;
    justify-content: center;
    align-items: center;
    z-index: 1000;
}
.pending{
opacity:1 !important;
}
.loader {
    border: 8px solid #f3f3f3;
    border-top: 8px solid #4a90e2;
    border-radius: 50%;
    width: 60px;
    height: 60px;
    animation: spin 1s linear infinite;
}

@keyframes spin {
   0% { transform: rotate(0deg); }
   100% { transform: rotate(360deg); }
}

@media only screen and (max-width: 768px) {
   .gradio-container .row {
       flex-direction: column;
   }

   #output-display, #metrics-display {
       max-height: 400px;
   }
}
"""

# Initialize components
knowledge_base = KnowledgeBase()
knowledge_base.add_information("python", "Python is a versatile programming language used for various applications.")
knowledge_base.add_information("asyncio", "Asyncio is a library to write concurrent code using the async/await syntax.")

search_extension = LLMSearchExtension()

# Initialize ModelClient without GROQ_API_KEY
model_client = ModelClient()

processing_steps = ProcessingSteps(model_client, knowledge_base, search_extension)

# Create the Enhanced Gradio interface
with gr.Blocks(css=custom_css) as interface:
    gr.Markdown("""
    # 🧠 Advanced Multi-Step Processing Assistant
    **Enter a query to see detailed multi-step processing with integrated knowledge, web information retrieval, dynamic search capabilities, and synthesis.**
    """)

    with gr.Row():
        with gr.Column(scale=1):
            query_input = gr.Textbox(
                label="Enter your query",
                placeholder="e.g., What is the tallest mountain in the world?",
                lines=2,
                max_lines=5,
                elem_id="query-input"
            )
            submit_button = gr.Button("Submit", elem_id="submit-button")
        with gr.Column(scale=1):
            metrics_display = gr.Markdown(
                label="## Processing Metrics",
                value="Awaiting input...",
                elem_id="metrics-display"
            )

    with gr.Row():
        output_display = gr.Markdown(
            label="## Processing Steps",
            value="Awaiting input...",
            elem_id="output-display"
        )

    with gr.Row():
        performance_graph = gr.Image(label="Performance Metrics Graph", visible=False)

    with gr.Row():
        loader = gr.Markdown(
            value="""
            <div class="loader"></div>
            """,
            visible=False,
            elem_id="loader-overlay"
        )

    with gr.Row():
        screenshot_button = gr.Button("Capture Screenshot", elem_id="screenshot-button")
        screenshot_output = gr.Image(label="Screenshot", visible=False)

    submit_button.click(
        fn=gradio_handler,
        inputs=[query_input],
        outputs=[output_display, metrics_display, performance_graph, loader],
        show_progress=False
    )

    def take_screenshot():
        screenshot = capture_screenshot(output_display.value)
        return gr.update(value=screenshot, visible=True)

    screenshot_button.click(
        fn=take_screenshot,
        inputs=[],
        outputs=[screenshot_output]
    )

# Launch Gradio interface
if __name__ == "__main__":
   interface.launch(share=True):

Error fetching content from " in response:
            url = response.split("URL_RETRIEVAL_NEEDED:", 1)[1].strip()
            url_content = await self.retrieve_url_content(url)
            
            messages = [
                {"role": "system", "content": "You are an AI assistant tasked with providing a refined answer based on the original response and newly retrieved information."},
                {"role": "user", "content": f"Original response:\n\n{response}\n\nRetrieved content from {url}:\n\n{url_content}\n\nPlease provide a refined and more accurate answer based on this additional information."}
            ]
            
            refined_response = await self.call_model(messages)
            return f"Refined answer based on data from {url}:\n\n{refined_response}"
        else:
            return response

def post_process_response(text: str) -> str:
    """
    Cleans the LLM response by removing Markdown headers and HTML tags.

    Args:
        text (str): The raw response from the LLM.

    Returns:
        str: The cleaned text.
    """
    # Remove Markdown headers (e.g., ### Heading)
    text = re.sub(r'^#{1,6}\s*', '', text, flags=re.MULTILINE)

    # Remove horizontal rules
    text = re.sub(r'^---$', '', text, flags=re.MULTILINE)

    # Remove HTML tags
    soup = BeautifulSoup(text, 'html.parser')
    text = soup.get_text(separator='\n')  # You can choose a different separator if needed

    # Optionally, remove extra newlines and whitespace
    text = re.sub(r'\n{2,}', '\n\n', text)
    #text = text.strip()

    return text

# Enhanced LLM Search Extension
class LLMSearchExtension:
   def __init__(self):
       self.search_engine = SearchEngineManager()
       self.result_processor = ResultProcessor()
       self.content_retriever = ContentRetriever()
       self.output_formatter = OutputFormatter()

   async def handle_query(self, query, context=None, options=None):
       options = options or {}
       raw_results = await self.search_engine.execute_search(query, options)
       processed_results = self.result_processor.process(raw_results, context)
       enriched_results = await self.content_retriever.retrieve(processed_results, options)
       formatted_results = self.output_formatter.format(enriched_results)
       return formatted_results

# Enhanced Search Layer
class DuckDuckGoSearch:
   async def search(self, query, options):
       max_results = options.get('max_results', 5)
       loop = asyncio.get_event_loop()
       results = await loop.run_in_executor(
           executor,
           lambda: list(DDGS().text(query, max_results=max_results))
       )
       return results

class SearchEngineManager:
   def __init__(self):
       self.engines = {
           'duckduckgo': DuckDuckGoSearch(),
       }

   async def execute_search(self, query, options):
       engine_name = options.get('engine', 'duckduckgo')
       search_engine = self.engines.get(engine_name)
       if not search_engine:
           raise ValueError(f"Search engine '{engine_name}' not supported.")
       return await search_engine.search(query[:50], options)

# Enhanced Processing Layer
class ResultProcessor:
   def process(self, raw_results, context):
       processed_results = []
       for result in raw_results:
           summary = self.summarize(result.get('body', '') if isinstance(result, dict) else result, context)
           processed_results.append({
               'title': result.get('title', '') if isinstance(result, dict) else result,
               'summary': summary,
               'url': result.get('href', '') if isinstance(result, dict) else '',
           })
       return processed_results

   def summarize(self, text, context):
       return text[:200] + '...'

# Enhanced Content Retrieval Layer
class ContentRetriever:
   async def retrieve(self, processed_results, options):
       relevant_tags = options.get('relevant_tags', ['p', 'h1', 'h2'])
       tasks = [self.process_result(result, relevant_tags) for result in processed_results]
       enriched_results = await asyncio.gather(*tasks)
       return enriched_results

   async def process_result(self, result, tags):
       url = result['url']
       if not url:
           result['extracted_content'] = "No URL provided."
           return result
       try:
           page_content = await self.fetch_page(url)
           extracted_content = self.extract_content(page_content, tags)
           result['extracted_content'] = extracted_content
       except Exception as e:
           result['extracted_content'] = f"Error fetching content: {e}"
       return result

   async def fetch_page(self, url):
       headers = {'User-Agent': 'Mozilla/5.0'}
       async with aiohttp.ClientSession() as session:
           async with session.get(url, headers=headers, timeout=10) as response:
               response.raise_for_status()
               return await response.text()

   def extract_content(self, html_content, tags):
       soup = BeautifulSoup(html_content, 'html.parser')
       extracted_texts = []
       for tag in tags:
           for element in soup.find_all(tag):
               text = element.get_text(strip=True)
               if text:
                   extracted_texts.append(text)
       return ' '.join(extracted_texts)

# Enhanced Output Layer
class OutputFormatter:
   def format(self, enriched_results):
       return enriched_results

# Enhanced Processing Steps
class ProcessingSteps:
   def __init__(self, model_client: ModelClient, knowledge_base: KnowledgeBase, search_extension: LLMSearchExtension):
       self.model_client = model_client
       self.knowledge_base = knowledge_base
       self.search_extension = search_extension
       self.translator = Translator(to_lang="en")

   async def generate_search_tags(self, query: str, context: list = None) -> list:
       messages = [
           {"role": "system", "content": """Generate search queries based on the following query and context.
            use the following format for search queries:

```search
{
  "queries": [
    "first search query",
    "second search query",
    "third search query",
  ]
}```
            """},
           {"role": "user", "content": f"Query: {query}\nContext: {chr(10).join(context) if context else 'None'}"}
       ]
       response = await self.model_client.call_model(messages)
       response = json.loads(response)
       tags = [tag.strip() for tag in response["queries"] if tag.strip()]
       return tags

   async def processing_step(self, query: str, prev_steps: list = None, current_iteration: int = 1, progress: gr.Progress = None) -> (list, list):
        is_first = current_iteration == 1
        relevant_info = []
        all_tags = set()

        context = prev_steps if not is_first else []

        # Detect language and translate if necessary
        detected_lang = detect(query)
        if detected_lang != 'en':
            query = self.translator.translate(query)

        # URL retrieval step
        url_retrieval_response = await self.model_client.process_with_url_retrieval(query, context)
        if "Refined answer based on data from " in url_retrieval_response:
            relevant_info.append(url_retrieval_response)

        search_tags = await self.generate_search_tags(query, context)
        all_tags.update(search_tags)

        search_tags = search_tags[:3]
        for tag in search_tags:
            search_options = {
                'engine': 'duckduckgo',
                'max_results': 3,
                'relevant_tags': ['p', 'h1', 'h2']
            }
            search_results = await self.search_extension.handle_query(tag, context=None, options=search_options)
            for res in search_results:
                if res.get('summary'):
                    relevant_info.append(res['summary'])

        print(":::relevantinfofromweb:::")
        print(relevant_info)

        for topic in self.knowledge_base.base:
            if topic in query.lower():
                relevant_info.extend(self.knowledge_base.fetch_information(topic))

        if not relevant_info and not is_first:
            synthetic_info = await self.model_client.generate_synthetic_information(query, related_info=[])
            relevant_info.append(f"Synthetic Information: {synthetic_info}")

        if is_first:
            system_prompt = Prompts.initial
        elif current_iteration in [2, 4]:
            system_prompt = Prompts.contrastive
        else:
            system_prompt = Prompts.followup

        prev_content = "\n\n".join(prev_steps) if prev_steps else ""
        messages = [
            {"role": "system", "content": system_prompt},
            {"role": "user", "content": f"Query: {query}\n\nIteration: {current_iteration}\n\nPrevious Attempts:\n{prev_content}\n\nRelevant Info:\n{chr(10).join(relevant_info) if relevant_info else 'None'}"}
        ]

        step_response = await self.model_client.call_model(messages)

        # Check for immediate URL retrieval
        if "URL_RETRIEVAL_NEEDED:" in step_response:
            step_response = await self.model_client.process_with_url_retrieval(step_response, context)

        steps = prev_steps or []
        steps.append(step_response)

        new_search_queries = self.extract_search_commands(step_response)
        for search_query in new_search_queries:
            search_results = await self.search_extension.handle_query(search_query, context=None, options={'engine': 'duckduckgo', 'max_results': 3, 'relevant_tags': ['p', 'h1', 'h2']})
            for res in search_results:
                if res.get('summary'):
                    relevant_info.append(f"Search for '{search_query}': {res['summary']}")

        new_tags = await self.generate_search_tags(query, steps)
        all_tags.update(new_tags)

        return list(all_tags), steps

   
   def extract_search_commands(self, response: str) -> list:
        search_commands = []
        
        # Use the updated regex to find JSON-like blocks in the response
        search_blocks = re.findall(r'{\s*"queries":\s*\[.*?\]\s*}', response, re.DOTALL)
        
        # Loop through each block and try to parse it as JSON
        for block in search_blocks:
            try:
                # Load the block as JSON
                search_data = json.loads(block)
                
                # Ensure it's a dictionary and contains the 'queries' key
                if isinstance(search_data, dict) and 'queries' in search_data:
                    # Extend the search_commands list with the queries found in the block
                    search_commands.extend(search_data['queries'])
            except json.JSONDecodeError:
                # Handle the case where the block isn't valid JSON
                print(f"Error parsing search block: {block}")
        
        # Return the list of search commands (queries)
        return search_commands

   async def synthesize_steps(self, query: str, all_steps: list) -> str:
       steps_text = "\n\n".join([f"Attempt {i+1}:\n{step}" for i, step in enumerate(all_steps)])
       messages = [
           {"role": "system", "content": Prompts.synthesis},
           {"role": "user", "content": f"Original Query: {query}\n\nAll Attempts:\n{steps_text}"}
       ]
       return await self.model_client.call_model(messages)

# Modify the full_processing function
async def full_processing(query: str, progress: gr.Progress) -> tuple:
    start_time = time.time()
    steps = []
    final_output = f"# Detailed Processing\n\n## Query\n{query}\n\n"

    max_iterations = 5
    current_iteration = 0
    new_tags = None

    metrics = {
        'Iterations': 0,
        'Total Attempt Time (s)': 0.0,
        'Synthesis Time (s)': 0.0,
        'Total Time (s)': 0.0,
        'Web Searches': 0,
        'Knowledge Base Accesses': 0
    }

    while current_iteration < max_iterations:
        current_iteration += 1
        metrics['Iterations'] = current_iteration
        progress_step = (current_iteration) / (max_iterations + 1)
        progress(progress_step, desc=f"Processing iteration {current_iteration}...")

        step_start = time.time()
        new_tags, steps = await processing_steps.processing_step(query, steps, current_iteration, progress=progress)
        step_duration = time.time() - step_start
        metrics['Total Attempt Time (s)'] += step_duration

        metrics['Web Searches'] += len(processing_steps.extract_search_commands(steps[-1]))
        metrics['Knowledge Base Accesses'] += sum(1 for topic in knowledge_base.base if topic in query.lower())

        approach_type = "Contrastive" if current_iteration in [2, 4] else "Regular"
        final_output += f"## Attempt {current_iteration} ({approach_type} Approach)\n{steps[-1]}\n\n"

        # Check for URL retrieval after generation
        if "Refined answer based on data from " in steps[-1]:
            progress(progress_step, desc="Retrieving additional information...")
            refined_response = await processing_steps.model_client.process_with_url_retrieval(steps[-1], context=steps)
            steps[-1] = refined_response
            final_output = final_output.rsplit("##", 1)[0]  # Remove the last attempt
            final_output += f"## Attempt {current_iteration} (Refined with URL data)\n{refined_response}\n\n"

        # Update UI after each attempt
        yield update_ui(final_output, metrics)

        if not new_tags and current_iteration >= 4:
            break

    progress(0.9, desc="Synthesizing final answer...")
    synthesis_start = time.time()
    synthesis = await processing_steps.synthesize_steps(query, steps)
    synthesis_duration = time.time() - synthesis_start
    metrics['Synthesis Time (s)'] += synthesis_duration
    final_output += f"## Final Synthesis\n{synthesis}\n\n"

    # Check for URL retrieval after final synthesis
    if "Refined answer based on data from " in synthesis:
        progress(0.95, desc="Retrieving additional information for final refinement...")
        refined_synthesis = await processing_steps.model_client.process_with_url_retrieval(synthesis, context=steps)
        synthesis = refined_synthesis
        final_output = final_output.rsplit("##", 1)[0]  # Remove the last synthesis
        final_output += f"## Final Synthesis (Refined with URL data)\n{refined_synthesis}\n\n"
    
    end_time = time.time()
    metrics['Total Time (s)'] = end_time - start_time

    final_output += generate_timing_info(metrics)
    
    yield update_ui(final_output, metrics)

def generate_timing_info(metrics):
   return f"""## Timing Information
- Number of Iterations: {metrics['Iterations']}
- Time for Attempts: {metrics['Total Attempt Time (s)']:.2f}s
- Synthesis Time: {metrics['Synthesis Time (s)']:.2f}s
- Total Time: {metrics['Total Time (s)']:.2f}s
- Web Searches: {metrics['Web Searches']}
- Knowledge Base Accesses: {metrics['Knowledge Base Accesses']}
"""

def update_ui(final_output, metrics):
   metrics_markdown = f"""
   ## Processing Metrics
   - **Iterations**: {metrics['Iterations']}
   - **Time for Attempts**: {metrics['Total Attempt Time (s)']:.2f}s
   - **Synthesis Time**: {metrics['Synthesis Time (s)']:.2f}s
   - **Total Time**: {metrics['Total Time (s)']:.2f}s
   - **Web Searches**: {metrics['Web Searches']}
   - **Knowledge Base Accesses**: {metrics['Knowledge Base Accesses']}
   """

   graph_base64 = generate_performance_graph(metrics)
   
   return final_output, metrics_markdown, f"data:image/png;base64,{graph_base64}"

def generate_performance_graph(metrics):
   fig, ax = plt.subplots()
   ax.bar(metrics.keys(), metrics.values())
   ax.set_title('Processing Performance Metrics')
   ax.set_ylabel('Value')
   plt.xticks(rotation=45, ha='right')
   plt.tight_layout()
   
   buf = io.BytesIO()
   plt.savefig(buf, format='png')
   buf.seek(0)
   
   return base64.b64encode(buf.getvalue()).decode()

def capture_screenshot(html_content):
   # Convert HTML to image (this is a simplified version, you might need to use a more robust solution)
   img = Image.new('RGB', (800, 600), color = (255, 255, 255))
   d = ImageDraw.Draw(img)
   d.text((10,10), html_content, fill=(0,0,0))
   
   buffered = io.BytesIO()
   img.save(buffered, format="PNG")
   img_str = base64.b64encode(buffered.getvalue()).decode()
   return f"data:image/png;base64,{img_str}"

# Modify the gradio_handler function
async def gradio_handler(query: str, progress: gr.Progress = gr.Progress()):
    output_generator = full_processing(query, progress)
    final_output = ""
    first_generation = True
    async for output, metrics_markdown, graph_data_url in output_generator:
        final_output = output
        loader_visibility = gr.update(visible=False) if first_generation else gr.update()
        yield output, metrics_markdown, gr.update(value=graph_data_url, visible=True), loader_visibility
        first_generation = False
    
    # Final yield to ensure the last update is sent
    yield final_output, metrics_markdown, gr.update(value=graph_data_url, visible=True), gr.update(visible=False)

# Enhanced Custom CSS for styling
custom_css = """
.gradio-container {
   font-family: 'Segoe UI', Tahoma, Geneva, Verdana, sans-serif;
   background-color: #f5f7fa;
   color: #333;
   padding: 20px;
}

h1 {
   color: #4a90e2;
   text-align: center;
   margin-bottom: 20px;
}

#query-input textarea {
   border: 2px solid #4a90e2;
   border-radius: 8px;
   padding: 10px;
   font-size: 16px;
   resize: vertical;
}

#submit-button, #screenshot-button {
   background-color: #4a90e2;
   color: white;
   font-size: 18px;
   padding: 10px 20px;
   border-radius: 8px;
   border: none;
   cursor: pointer;
   transition: background-color 0.3s ease;
}

#submit-button:hover, #screenshot-button:hover {
   background-color: #357abd;
}

#output-display, #metrics-display {
   background-color: #ffffff;
   border: 2px solid #4a90e2;
   border-radius: 8px;
   padding: 20px;
   font-size: 16px;
   overflow: auto !important;
   max-height: 600px;
   margin-top: 20px;
   box-shadow: 0 4px 6px rgba(0, 0, 0, 0.1);
}


#loader-overlay {
    display:none;
    position: fixed;
    top: 0;
    left: 0;
    width: 0%;
    height: 0%;
    background-color: rgba(255, 255, 255, 0.8);
    display: flex;
    justify-content: center;
    align-items: center;
    z-index: 1000;
}
.pending{
opacity:1 !important;
}
.loader {
    border: 8px solid #f3f3f3;
    border-top: 8px solid #4a90e2;
    border-radius: 50%;
    width: 60px;
    height: 60px;
    animation: spin 1s linear infinite;
}

@keyframes spin {
   0% { transform: rotate(0deg); }
   100% { transform: rotate(360deg); }
}

@media only screen and (max-width: 768px) {
   .gradio-container .row {
       flex-direction: column;
   }

   #output-display, #metrics-display {
       max-height: 400px;
   }
}
"""

# Initialize components
knowledge_base = KnowledgeBase()
knowledge_base.add_information("python", "Python is a versatile programming language used for various applications.")
knowledge_base.add_information("asyncio", "Asyncio is a library to write concurrent code using the async/await syntax.")

search_extension = LLMSearchExtension()

# Initialize ModelClient without GROQ_API_KEY
model_client = ModelClient()

processing_steps = ProcessingSteps(model_client, knowledge_base, search_extension)

# Create the Enhanced Gradio interface
with gr.Blocks(css=custom_css) as interface:
    gr.Markdown("""
    # 🧠 Advanced Multi-Step Processing Assistant
    **Enter a query to see detailed multi-step processing with integrated knowledge, web information retrieval, dynamic search capabilities, and synthesis.**
    """)

    with gr.Row():
        with gr.Column(scale=1):
            query_input = gr.Textbox(
                label="Enter your query",
                placeholder="e.g., What is the tallest mountain in the world?",
                lines=2,
                max_lines=5,
                elem_id="query-input"
            )
            submit_button = gr.Button("Submit", elem_id="submit-button")
        with gr.Column(scale=1):
            metrics_display = gr.Markdown(
                label="## Processing Metrics",
                value="Awaiting input...",
                elem_id="metrics-display"
            )

    with gr.Row():
        output_display = gr.Markdown(
            label="## Processing Steps",
            value="Awaiting input...",
            elem_id="output-display"
        )

    with gr.Row():
        performance_graph = gr.Image(label="Performance Metrics Graph", visible=False)

    with gr.Row():
        loader = gr.Markdown(
            value="""
            <div class="loader"></div>
            """,
            visible=False,
            elem_id="loader-overlay"
        )

    with gr.Row():
        screenshot_button = gr.Button("Capture Screenshot", elem_id="screenshot-button")
        screenshot_output = gr.Image(label="Screenshot", visible=False)

    submit_button.click(
        fn=gradio_handler,
        inputs=[query_input],
        outputs=[output_display, metrics_display, performance_graph, loader],
        show_progress=False
    )

    def take_screenshot():
        screenshot = capture_screenshot(output_display.value)
        return gr.update(value=screenshot, visible=True)

    screenshot_button.click(
        fn=take_screenshot,
        inputs=[],
        outputs=[screenshot_output]
    )

# Launch Gradio interface
if __name__ == "__main__":
   interface.launch(share=True): %22%20in%20response:%20%20%20%20%20%20%20%20%20%20%20%20url%20=%20response.split(%22URL_RETRIEVAL_NEEDED:%22,%201)%5B1%5D.strip()%20%20%20%20%20%20%20%20%20%20%20%20url_content%20=%20await%20self.retrieve_url_content(url)%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20messages%20=%20%5B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%22role%22:%20%22system%22,%20%22content%22:%20%22You%20are%20an%20AI%20assistant%20tasked%20with%20providing%20a%20refined%20answer%20based%20on%20the%20original%20response%20and%20newly%20retrieved%20information.%22%7D,%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%22role%22:%20%22user%22,%20%22content%22:%20f%22Original%20response:%5Cn%5Cn%7Bresponse%7D%5Cn%5CnRetrieved%20content%20from%20%7Burl%7D:%5Cn%5Cn%7Burl_content%7D%5Cn%5CnPlease%20provide%20a%20refined%20and%20more%20accurate%20answer%20based%20on%20this%20additional%20information.%22%7D%20%20%20%20%20%20%20%20%20%20%20%20%5D%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20refined_response%20=%20await%20self.call_model(messages)%20%20%20%20%20%20%20%20%20%20%20%20return%20f%22Refined%20answer%20based%20on%20data%20from%20%7Burl%7D:%5Cn%5Cn%7Brefined_response%7D%22%20%20%20%20%20%20%20%20else:%20%20%20%20%20%20%20%20%20%20%20%20return%20responsedef%20post_process_response(text:%20str)%20-%3E%20str:%20%20%20%20%22%22%22%20%20%20%20Cleans%20the%20LLM%20response%20by%20removing%20Markdown%20headers%20and%20HTML%20tags.%20%20%20%20Args:%20%20%20%20%20%20%20%20text%20(str):%20The%20raw%20response%20from%20the%20LLM.%20%20%20%20Returns:%20%20%20%20%20%20%20%20str:%20The%20cleaned%20text.%20%20%20%20%22%22%22%20%20%20%20#%20Remove%20Markdown%20headers%20(e.g.,%20%23%23%23%20Heading)%20%20%20%20text%20=%20re.sub(r'%5E%23%7B1,6%7D%5Cs*',%20'',%20text,%20flags=re.MULTILINE)%20%20%20%20%23%20Remove%20horizontal%20rules%20%20%20%20text%20=%20re.sub(r'%5E---$',%20'',%20text,%20flags=re.MULTILINE)%20%20%20%20%23%20Remove%20HTML%20tags%20%20%20%20soup%20=%20BeautifulSoup(text,%20'html.parser')%20%20%20%20text%20=%20soup.get_text(separator='%5Cn')%20%20%23%20You%20can%20choose%20a%20different%20separator%20if%20needed%20%20%20%20%23%20Optionally,%20remove%20extra%20newlines%20and%20whitespace%20%20%20%20text%20=%20re.sub(r'%5Cn%7B2,%7D',%20'%5Cn%5Cn',%20text)%20%20%20%20%23text%20=%20text.strip()%20%20%20%20return%20text%23%20Enhanced%20LLM%20Search%20Extensionclass%20LLMSearchExtension:%20%20%20def%20__init__(self):%20%20%20%20%20%20%20self.search_engine%20=%20SearchEngineManager()%20%20%20%20%20%20%20self.result_processor%20=%20ResultProcessor()%20%20%20%20%20%20%20self.content_retriever%20=%20ContentRetriever()%20%20%20%20%20%20%20self.output_formatter%20=%20OutputFormatter()%20%20%20async%20def%20handle_query(self,%20query,%20context=None,%20options=None):%20%20%20%20%20%20%20options%20=%20options%20or%20%7B%7D%20%20%20%20%20%20%20raw_results%20=%20await%20self.search_engine.execute_search(query,%20options)%20%20%20%20%20%20%20processed_results%20=%20self.result_processor.process(raw_results,%20context)%20%20%20%20%20%20%20enriched_results%20=%20await%20self.content_retriever.retrieve(processed_results,%20options)%20%20%20%20%20%20%20formatted_results%20=%20self.output_formatter.format(enriched_results)%20%20%20%20%20%20%20return%20formatted_results%23%20Enhanced%20Search%20Layerclass%20DuckDuckGoSearch:%20%20%20async%20def%20search(self,%20query,%20options):%20%20%20%20%20%20%20max_results%20=%20options.get('max_results',%205)%20%20%20%20%20%20%20loop%20=%20asyncio.get_event_loop()%20%20%20%20%20%20%20results%20=%20await%20loop.run_in_executor(%20%20%20%20%20%20%20%20%20%20%20executor,%20%20%20%20%20%20%20%20%20%20%20lambda:%20list(DDGS().text(query,%20max_results=max_results))%20%20%20%20%20%20%20)%20%20%20%20%20%20%20return%20resultsclass%20SearchEngineManager:%20%20%20def%20__init__(self):%20%20%20%20%20%20%20self.engines%20=%20%7B%20%20%20%20%20%20%20%20%20%20%20'duckduckgo':%20DuckDuckGoSearch(),%20%20%20%20%20%20%20%7D%20%20%20async%20def%20execute_search(self,%20query,%20options):%20%20%20%20%20%20%20engine_name%20=%20options.get('engine',%20'duckduckgo')%20%20%20%20%20%20%20search_engine%20=%20self.engines.get(engine_name)%20%20%20%20%20%20%20if%20not%20search_engine:%20%20%20%20%20%20%20%20%20%20%20raise%20ValueError(f%22Search%20engine%20'%7Bengine_name%7D'%20not%20supported.%22)%20%20%20%20%20%20%20return%20await%20search_engine.search(query%5B:50%5D,%20options)%23%20Enhanced%20Processing%20Layerclass%20ResultProcessor:%20%20%20def%20process(self,%20raw_results,%20context):%20%20%20%20%20%20%20processed_results%20=%20%5B%5D%20%20%20%20%20%20%20for%20result%20in%20raw_results:%20%20%20%20%20%20%20%20%20%20%20summary%20=%20self.summarize(result.get('body',%20'')%20if%20isinstance(result,%20dict)%20else%20result,%20context)%20%20%20%20%20%20%20%20%20%20%20processed_results.append(%7B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'title':%20result.get('title',%20'')%20if%20isinstance(result,%20dict)%20else%20result,%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'summary':%20summary,%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'url':%20result.get('href',%20'')%20if%20isinstance(result,%20dict)%20else%20'',%20%20%20%20%20%20%20%20%20%20%20%7D)%20%20%20%20%20%20%20return%20processed_results%20%20%20def%20summarize(self,%20text,%20context):%20%20%20%20%20%20%20return%20text%5B:200%5D%20+%20'...'%23%20Enhanced%20Content%20Retrieval%20Layerclass%20ContentRetriever:%20%20%20async%20def%20retrieve(self,%20processed_results,%20options):%20%20%20%20%20%20%20relevant_tags%20=%20options.get('relevant_tags',%20%5B'p',%20'h1',%20'h2'%5D)%20%20%20%20%20%20%20tasks%20=%20%5Bself.process_result(result,%20relevant_tags)%20for%20result%20in%20processed_results%5D%20%20%20%20%20%20%20enriched_results%20=%20await%20asyncio.gather(*tasks)%20%20%20%20%20%20%20return%20enriched_results%20%20%20async%20def%20process_result(self,%20result,%20tags):%20%20%20%20%20%20%20url%20=%20result%5B'url'%5D%20%20%20%20%20%20%20if%20not%20url:%20%20%20%20%20%20%20%20%20%20%20result%5B'extracted_content'%5D%20=%20%22No%20URL%20provided.%22%20%20%20%20%20%20%20%20%20%20%20return%20result%20%20%20%20%20%20%20try:%20%20%20%20%20%20%20%20%20%20%20page_content%20=%20await%20self.fetch_page(url)%20%20%20%20%20%20%20%20%20%20%20extracted_content%20=%20self.extract_content(page_content,%20tags)%20%20%20%20%20%20%20%20%20%20%20result%5B'extracted_content'%5D%20=%20extracted_content%20%20%20%20%20%20%20except%20Exception%20as%20e:%20%20%20%20%20%20%20%20%20%20%20result%5B'extracted_content'%5D%20=%20f%22Error%20fetching%20content:%20%7Be%7D%22%20%20%20%20%20%20%20return%20result%20%20%20async%20def%20fetch_page(self,%20url):%20%20%20%20%20%20%20headers%20=%20%7B'User-Agent':%20'Mozilla/5.0'%7D%20%20%20%20%20%20%20async%20with%20aiohttp.ClientSession()%20as%20session:%20%20%20%20%20%20%20%20%20%20%20async%20with%20session.get(url,%20headers=headers,%20timeout=10)%20as%20response:%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20response.raise_for_status()%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20await%20response.text()%20%20%20def%20extract_content(self,%20html_content,%20tags):%20%20%20%20%20%20%20soup%20=%20BeautifulSoup(html_content,%20'html.parser')%20%20%20%20%20%20%20extracted_texts%20=%20%5B%5D%20%20%20%20%20%20%20for%20tag%20in%20tags:%20%20%20%20%20%20%20%20%20%20%20for%20element%20in%20soup.find_all(tag):%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text%20=%20element.get_text(strip=True)%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20text:%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20extracted_texts.append(text)%20%20%20%20%20%20%20return%20'%20'.join(extracted_texts)%23%20Enhanced%20Output%20Layerclass%20OutputFormatter:%20%20%20def%20format(self,%20enriched_results):%20%20%20%20%20%20%20return%20enriched_results%23%20Enhanced%20Processing%20Stepsclass%20ProcessingSteps:%20%20%20def%20__init__(self,%20model_client:%20ModelClient,%20knowledge_base:%20KnowledgeBase,%20search_extension:%20LLMSearchExtension):%20%20%20%20%20%20%20self.model_client%20=%20model_client%20%20%20%20%20%20%20self.knowledge_base%20=%20knowledge_base%20%20%20%20%20%20%20self.search_extension%20=%20search_extension%20%20%20%20%20%20%20self.translator%20=%20Translator(to_lang=%22en%22)%20%20%20async%20def%20generate_search_tags(self,%20query:%20str,%20context:%20list%20=%20None)%20-%3E%20list:%20%20%20%20%20%20%20messages%20=%20%5B%20%20%20%20%20%20%20%20%20%20%20%7B%22role%22:%20%22system%22,%20%22content%22:%20%22%22%22Generate%20search%20queries%20based%20on%20the%20following%20query%20and%20context.%20%20%20%20%20%20%20%20%20%20%20%20use%20the%20following%20format%20for%20search%20queries:%60%60%60search%7B%20%20%22queries%22:%20%5B%20%20%20%20%22first%20search%20query%22,%20%20%20%20%22second%20search%20query%22,%20%20%20%20%22third%20search%20query%22,%20%20%5D%7D%60%60%60%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%7D,%20%20%20%20%20%20%20%20%20%20%20%7B%22role%22:%20%22user%22,%20%22content%22:%20f%22Query:%20%7Bquery%7D%5CnContext:%20%7Bchr(10).join(context)%20if%20context%20else%20'None'%7D%22%7D%20%20%20%20%20%20%20%5D%20%20%20%20%20%20%20response%20=%20await%20self.model_client.call_model(messages)%20%20%20%20%20%20%20response%20=%20json.loads(response)%20%20%20%20%20%20%20tags%20=%20%5Btag.strip()%20for%20tag%20in%20response%5B%22queries%22%5D%20if%20tag.strip()%5D%20%20%20%20%20%20%20return%20tags%20%20%20async%20def%20processing_step(self,%20query:%20str,%20prev_steps:%20list%20=%20None,%20current_iteration:%20int%20=%201,%20progress:%20gr.Progress%20=%20None)%20-%3E%20(list,%20list):%20%20%20%20%20%20%20%20is_first%20=%20current_iteration%20==%201%20%20%20%20%20%20%20%20relevant_info%20=%20%5B%5D%20%20%20%20%20%20%20%20all_tags%20=%20set()%20%20%20%20%20%20%20%20context%20=%20prev_steps%20if%20not%20is_first%20else%20%5B%5D%20%20%20%20%20%20%20%20%23%20Detect%20language%20and%20translate%20if%20necessary%20%20%20%20%20%20%20%20detected_lang%20=%20detect(query)%20%20%20%20%20%20%20%20if%20detected_lang%20!=%20'en':%20%20%20%20%20%20%20%20%20%20%20%20query%20=%20self.translator.translate(query)%20%20%20%20%20%20%20%20%23%20URL%20retrieval%20step%20%20%20%20%20%20%20%20url_retrieval_response%20=%20await%20self.model_client.process_with_url_retrieval(query,%20context)%20%20%20%20%20%20%20%20if%20%22Refined%20answer%20based%20on%20data%20from%20%22%20in%20url_retrieval_response:%20%20%20%20%20%20%20%20%20%20%20%20relevant_info.append(url_retrieval_response)%20%20%20%20%20%20%20%20search_tags%20=%20await%20self.generate_search_tags(query,%20context)%20%20%20%20%20%20%20%20all_tags.update(search_tags)%20%20%20%20%20%20%20%20search_tags%20=%20search_tags%5B:3%5D%20%20%20%20%20%20%20%20for%20tag%20in%20search_tags:%20%20%20%20%20%20%20%20%20%20%20%20search_options%20=%20%7B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'engine':%20'duckduckgo',%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'max_results':%203,%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'relevant_tags':%20%5B'p',%20'h1',%20'h2'%5D%20%20%20%20%20%20%20%20%20%20%20%20%7D%20%20%20%20%20%20%20%20%20%20%20%20search_results%20=%20await%20self.search_extension.handle_query(tag,%20context=None,%20options=search_options)%20%20%20%20%20%20%20%20%20%20%20%20for%20res%20in%20search_results:%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20res.get('summary'):%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20relevant_info.append(res%5B'summary'%5D)%20%20%20%20%20%20%20%20print(%22:::relevantinfofromweb:::%22)%20%20%20%20%20%20%20%20print(relevant_info)%20%20%20%20%20%20%20%20for%20topic%20in%20self.knowledge_base.base:%20%20%20%20%20%20%20%20%20%20%20%20if%20topic%20in%20query.lower():%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20relevant_info.extend(self.knowledge_base.fetch_information(topic))%20%20%20%20%20%20%20%20if%20not%20relevant_info%20and%20not%20is_first:%20%20%20%20%20%20%20%20%20%20%20%20synthetic_info%20=%20await%20self.model_client.generate_synthetic_information(query,%20related_info=%5B%5D)%20%20%20%20%20%20%20%20%20%20%20%20relevant_info.append(f%22Synthetic%20Information:%20%7Bsynthetic_info%7D%22)%20%20%20%20%20%20%20%20if%20is_first:%20%20%20%20%20%20%20%20%20%20%20%20system_prompt%20=%20Prompts.initial%20%20%20%20%20%20%20%20elif%20current_iteration%20in%20%5B2,%204%5D:%20%20%20%20%20%20%20%20%20%20%20%20system_prompt%20=%20Prompts.contrastive%20%20%20%20%20%20%20%20else:%20%20%20%20%20%20%20%20%20%20%20%20system_prompt%20=%20Prompts.followup%20%20%20%20%20%20%20%20prev_content%20=%20%22%5Cn%5Cn%22.join(prev_steps)%20if%20prev_steps%20else%20%22%22%20%20%20%20%20%20%20%20messages%20=%20%5B%20%20%20%20%20%20%20%20%20%20%20%20%7B%22role%22:%20%22system%22,%20%22content%22:%20system_prompt%7D,%20%20%20%20%20%20%20%20%20%20%20%20%7B%22role%22:%20%22user%22,%20%22content%22:%20f%22Query:%20%7Bquery%7D%5Cn%5CnIteration:%20%7Bcurrent_iteration%7D%5Cn%5CnPrevious%20Attempts:%5Cn%7Bprev_content%7D%5Cn%5CnRelevant%20Info:%5Cn%7Bchr(10).join(relevant_info)%20if%20relevant_info%20else%20'None'%7D%22%7D%20%20%20%20%20%20%20%20%5D%20%20%20%20%20%20%20%20step_response%20=%20await%20self.model_client.call_model(messages)%20%20%20%20%20%20%20%20%23%20Check%20for%20immediate%20URL%20retrieval%20%20%20%20%20%20%20%20if%20%22URL_RETRIEVAL_NEEDED:%22%20in%20step_response:%20%20%20%20%20%20%20%20%20%20%20%20step_response%20=%20await%20self.model_client.process_with_url_retrieval(step_response,%20context)%20%20%20%20%20%20%20%20steps%20=%20prev_steps%20or%20%5B%5D%20%20%20%20%20%20%20%20steps.append(step_response)%20%20%20%20%20%20%20%20new_search_queries%20=%20self.extract_search_commands(step_response)%20%20%20%20%20%20%20%20for%20search_query%20in%20new_search_queries:%20%20%20%20%20%20%20%20%20%20%20%20search_results%20=%20await%20self.search_extension.handle_query(search_query,%20context=None,%20options=%7B'engine':%20'duckduckgo',%20'max_results':%203,%20'relevant_tags':%20%5B'p',%20'h1',%20'h2'%5D%7D)%20%20%20%20%20%20%20%20%20%20%20%20for%20res%20in%20search_results:%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20res.get('summary'):%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20relevant_info.append(f%22Search%20for%20'%7Bsearch_query%7D':%20%7Bres%5B'summary'%5D%7D%22)%20%20%20%20%20%20%20%20new_tags%20=%20await%20self.generate_search_tags(query,%20steps)%20%20%20%20%20%20%20%20all_tags.update(new_tags)%20%20%20%20%20%20%20%20return%20list(all_tags),%20steps%20%20%20%20%20%20def%20extract_search_commands(self,%20response:%20str)%20-%3E%20list:%20%20%20%20%20%20%20%20search_commands%20=%20%5B%5D%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Use%20the%20updated%20regex%20to%20find%20JSON-like%20blocks%20in%20the%20response%20%20%20%20%20%20%20%20search_blocks%20=%20re.findall(r'%7B%5Cs*%22queries%22:%5Cs*%5C%5B.*?%5C%5D%5Cs*%7D',%20response,%20re.DOTALL)%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Loop%20through%20each%20block%20and%20try%20to%20parse%20it%20as%20JSON%20%20%20%20%20%20%20%20for%20block%20in%20search_blocks:%20%20%20%20%20%20%20%20%20%20%20%20try:%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Load%20the%20block%20as%20JSON%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20search_data%20=%20json.loads(block)%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Ensure%20it's%20a%20dictionary%20and%20contains%20the%20'queries'%20key%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20isinstance(search_data,%20dict)%20and%20'queries'%20in%20search_data:%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Extend%20the%20search_commands%20list%20with%20the%20queries%20found%20in%20the%20block%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20search_commands.extend(search_data%5B'queries'%5D)%20%20%20%20%20%20%20%20%20%20%20%20except%20json.JSONDecodeError:%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Handle%20the%20case%20where%20the%20block%20isn't%20valid%20JSON%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20print(f%22Error%20parsing%20search%20block:%20%7Bblock%7D%22)%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Return%20the%20list%20of%20search%20commands%20(queries)%20%20%20%20%20%20%20%20return%20search_commands%20%20%20async%20def%20synthesize_steps(self,%20query:%20str,%20all_steps:%20list)%20-%3E%20str:%20%20%20%20%20%20%20steps_text%20=%20%22%5Cn%5Cn%22.join(%5Bf%22Attempt%20%7Bi+1%7D:%5Cn%7Bstep%7D%22%20for%20i,%20step%20in%20enumerate(all_steps)%5D)%20%20%20%20%20%20%20messages%20=%20%5B%20%20%20%20%20%20%20%20%20%20%20%7B%22role%22:%20%22system%22,%20%22content%22:%20Prompts.synthesis%7D,%20%20%20%20%20%20%20%20%20%20%20%7B%22role%22:%20%22user%22,%20%22content%22:%20f%22Original%20Query:%20%7Bquery%7D%5Cn%5CnAll%20Attempts:%5Cn%7Bsteps_text%7D%22%7D%20%20%20%20%20%20%20%5D%20%20%20%20%20%20%20return%20await%20self.model_client.call_model(messages)%23%20Modify%20the%20full_processing%20functionasync%20def%20full_processing(query:%20str,%20progress:%20gr.Progress)%20-%3E%20tuple:%20%20%20%20start_time%20=%20time.time()%20%20%20%20steps%20=%20%5B%5D%20%20%20%20final_output%20=%20f%22%23%20Detailed%20Processing%5Cn%5Cn%23%23%20Query%5Cn%7Bquery%7D%5Cn%5Cn%22%20%20%20%20max_iterations%20=%205%20%20%20%20current_iteration%20=%200%20%20%20%20new_tags%20=%20None%20%20%20%20metrics%20=%20%7B%20%20%20%20%20%20%20%20'Iterations':%200,%20%20%20%20%20%20%20%20'Total%20Attempt%20Time%20(s)':%200.0,%20%20%20%20%20%20%20%20'Synthesis%20Time%20(s)':%200.0,%20%20%20%20%20%20%20%20'Total%20Time%20(s)':%200.0,%20%20%20%20%20%20%20%20'Web%20Searches':%200,%20%20%20%20%20%20%20%20'Knowledge%20Base%20Accesses':%200%20%20%20%20%7D%20%20%20%20while%20current_iteration%20%3C%20max_iterations:%20%20%20%20%20%20%20%20current_iteration%20+=%201%20%20%20%20%20%20%20%20metrics%5B'Iterations'%5D%20=%20current_iteration%20%20%20%20%20%20%20%20progress_step%20=%20(current_iteration)%20/%20(max_iterations%20+%201)%20%20%20%20%20%20%20%20progress(progress_step,%20desc=f%22Processing%20iteration%20%7Bcurrent_iteration%7D...%22)%20%20%20%20%20%20%20%20step_start%20=%20time.time()%20%20%20%20%20%20%20%20new_tags,%20steps%20=%20await%20processing_steps.processing_step(query,%20steps,%20current_iteration,%20progress=progress)%20%20%20%20%20%20%20%20step_duration%20=%20time.time()%20-%20step_start%20%20%20%20%20%20%20%20metrics%5B'Total%20Attempt%20Time%20(s)'%5D%20+=%20step_duration%20%20%20%20%20%20%20%20metrics%5B'Web%20Searches'%5D%20+=%20len(processing_steps.extract_search_commands(steps%5B-1%5D))%20%20%20%20%20%20%20%20metrics%5B'Knowledge%20Base%20Accesses'%5D%20+=%20sum(1%20for%20topic%20in%20knowledge_base.base%20if%20topic%20in%20query.lower())%20%20%20%20%20%20%20%20approach_type%20=%20%22Contrastive%22%20if%20current_iteration%20in%20%5B2,%204%5D%20else%20%22Regular%22%20%20%20%20%20%20%20%20final_output%20+=%20f%22%23%23%20Attempt%20%7Bcurrent_iteration%7D%20(%7Bapproach_type%7D%20Approach)%5Cn%7Bsteps%5B-1%5D%7D%5Cn%5Cn%22%20%20%20%20%20%20%20%20%23%20Check%20for%20URL%20retrieval%20after%20generation%20%20%20%20%20%20%20%20if%20%22Refined%20answer%20based%20on%20data%20from%20%22%20in%20steps%5B-1%5D:%20%20%20%20%20%20%20%20%20%20%20%20progress(progress_step,%20desc=%22Retrieving%20additional%20information...%22)%20%20%20%20%20%20%20%20%20%20%20%20refined_response%20=%20await%20processing_steps.model_client.process_with_url_retrieval(steps%5B-1%5D,%20context=steps)%20%20%20%20%20%20%20%20%20%20%20%20steps%5B-1%5D%20=%20refined_response%20%20%20%20%20%20%20%20%20%20%20%20final_output%20=%20final_output.rsplit(%22%23%23%22,%201)%5B0%5D%20%20%23%20Remove%20the%20last%20attempt%20%20%20%20%20%20%20%20%20%20%20%20final_output%20+=%20f%22%23%23%20Attempt%20%7Bcurrent_iteration%7D%20(Refined%20with%20URL%20data)%5Cn%7Brefined_response%7D%5Cn%5Cn%22%20%20%20%20%20%20%20%20%23%20Update%20UI%20after%20each%20attempt%20%20%20%20%20%20%20%20yield%20update_ui(final_output,%20metrics)%20%20%20%20%20%20%20%20if%20not%20new_tags%20and%20current_iteration%20%3E=%204:%20%20%20%20%20%20%20%20%20%20%20%20break%20%20%20%20progress(0.9,%20desc=%22Synthesizing%20final%20answer...%22)%20%20%20%20synthesis_start%20=%20time.time()%20%20%20%20synthesis%20=%20await%20processing_steps.synthesize_steps(query,%20steps)%20%20%20%20synthesis_duration%20=%20time.time()%20-%20synthesis_start%20%20%20%20metrics%5B'Synthesis%20Time%20(s)'%5D%20+=%20synthesis_duration%20%20%20%20final_output%20+=%20f%22%23%23%20Final%20Synthesis%5Cn%7Bsynthesis%7D%5Cn%5Cn%22%20%20%20%20%23%20Check%20for%20URL%20retrieval%20after%20final%20synthesis%20%20%20%20if%20%22Refined%20answer%20based%20on%20data%20from%20%22%20in%20synthesis:%20%20%20%20%20%20%20%20progress(0.95,%20desc=%22Retrieving%20additional%20information%20for%20final%20refinement...%22)%20%20%20%20%20%20%20%20refined_synthesis%20=%20await%20processing_steps.model_client.process_with_url_retrieval(synthesis,%20context=steps)%20%20%20%20%20%20%20%20synthesis%20=%20refined_synthesis%20%20%20%20%20%20%20%20final_output%20=%20final_output.rsplit(%22%23%23%22,%201)%5B0%5D%20%20%23%20Remove%20the%20last%20synthesis%20%20%20%20%20%20%20%20final_output%20+=%20f%22%23%23%20Final%20Synthesis%20(Refined%20with%20URL%20data)%5Cn%7Brefined_synthesis%7D%5Cn%5Cn%22%20%20%20%20%20%20%20%20end_time%20=%20time.time()%20%20%20%20metrics%5B'Total%20Time%20(s)'%5D%20=%20end_time%20-%20start_time%20%20%20%20final_output%20+=%20generate_timing_info(metrics)%20%20%20%20%20%20%20%20yield%20update_ui(final_output,%20metrics)def%20generate_timing_info(metrics):%20%20%20return%20f%22%22%22%23%23%20Timing%20Information-%20Number%20of%20Iterations:%20%7Bmetrics%5B'Iterations'%5D%7D-%20Time%20for%20Attempts:%20%7Bmetrics%5B'Total%20Attempt%20Time%20(s)'%5D:.2f%7Ds-%20Synthesis%20Time:%20%7Bmetrics%5B'Synthesis%20Time%20(s)'%5D:.2f%7Ds-%20Total%20Time:%20%7Bmetrics%5B'Total%20Time%20(s)'%5D:.2f%7Ds-%20Web%20Searches:%20%7Bmetrics%5B'Web%20Searches'%5D%7D-%20Knowledge%20Base%20Accesses:%20%7Bmetrics%5B'Knowledge%20Base%20Accesses'%5D%7D%22%22%22def%20update_ui(final_output,%20metrics):%20%20%20metrics_markdown%20=%20f%22%22%22%20%20%20%23%23%20Processing%20Metrics%20%20%20-%20**Iterations**:%20%7Bmetrics%5B'Iterations'%5D%7D%20%20%20-%20**Time%20for%20Attempts**:%20%7Bmetrics%5B'Total%20Attempt%20Time%20(s)'%5D:.2f%7Ds%20%20%20-%20**Synthesis%20Time**:%20%7Bmetrics%5B'Synthesis%20Time%20(s)'%5D:.2f%7Ds%20%20%20-%20**Total%20Time**:%20%7Bmetrics%5B'Total%20Time%20(s)'%5D:.2f%7Ds%20%20%20-%20**Web%20Searches**:%20%7Bmetrics%5B'Web%20Searches'%5D%7D%20%20%20-%20**Knowledge%20Base%20Accesses**:%20%7Bmetrics%5B'Knowledge%20Base%20Accesses'%5D%7D%20%20%20%22%22%22%20%20%20graph_base64%20=%20generate_performance_graph(metrics)%20%20%20%20%20%20return%20final_output,%20metrics_markdown,%20f%22data:image/png;base64,%7Bgraph_base64%7D%22def%20generate_performance_graph(metrics):%20%20%20fig,%20ax%20=%20plt.subplots()%20%20%20ax.bar(metrics.keys(),%20metrics.values())%20%20%20ax.set_title('Processing%20Performance%20Metrics')%20%20%20ax.set_ylabel('Value')%20%20%20plt.xticks(rotation=45,%20ha='right')%20%20%20plt.tight_layout()%20%20%20%20%20%20buf%20=%20io.BytesIO()%20%20%20plt.savefig(buf,%20format='png')%20%20%20buf.seek(0)%20%20%20%20%20%20return%20base64.b64encode(buf.getvalue()).decode()def%20capture_screenshot(html_content):%20%20%20%23%20Convert%20HTML%20to%20image%20(this%20is%20a%20simplified%20version,%20you%20might%20need%20to%20use%20a%20more%20robust%20solution)%20%20%20img%20=%20Image.new('RGB',%20(800,%20600),%20color%20=%20(255,%20255,%20255))%20%20%20d%20=%20ImageDraw.Draw(img)%20%20%20d.text((10,10),%20html_content,%20fill=(0,0,0))%20%20%20%20%20%20buffered%20=%20io.BytesIO()%20%20%20img.save(buffered,%20format=%22PNG%22)%20%20%20img_str%20=%20base64.b64encode(buffered.getvalue()).decode()%20%20%20return%20f%22data:image/png;base64,%7Bimg_str%7D%22%23%20Modify%20the%20gradio_handler%20functionasync%20def%20gradio_handler(query:%20str,%20progress:%20gr.Progress%20=%20gr.Progress()):%20%20%20%20output_generator%20=%20full_processing(query,%20progress)%20%20%20%20final_output%20=%20%22%22%20%20%20%20first_generation%20=%20True%20%20%20%20async%20for%20output,%20metrics_markdown,%20graph_data_url%20in%20output_generator:%20%20%20%20%20%20%20%20final_output%20=%20output%20%20%20%20%20%20%20%20loader_visibility%20=%20gr.update(visible=False)%20if%20first_generation%20else%20gr.update()%20%20%20%20%20%20%20%20yield%20output,%20metrics_markdown,%20gr.update(value=graph_data_url,%20visible=True),%20loader_visibility%20%20%20%20%20%20%20%20first_generation%20=%20False%20%20%20%20%20%20%20%20%23%20Final%20yield%20to%20ensure%20the%20last%20update%20is%20sent%20%20%20%20yield%20final_output,%20metrics_markdown,%20gr.update(value=graph_data_url,%20visible=True),%20gr.update(visible=False)%23%20Enhanced%20Custom%20CSS%20for%20stylingcustom_css%20=%20%22%22%22.gradio-container%20%7B%20%20%20font-family:%20'Segoe%20UI',%20Tahoma,%20Geneva,%20Verdana,%20sans-serif;%20%20%20background-color:%20%23f5f7fa;%20%20%20color:%20%23333;%20%20%20padding:%2020px;%7Dh1%20%7B%20%20%20color:%20%234a90e2;%20%20%20text-align:%20center;%20%20%20margin-bottom:%2020px;%7D%23query-input%20textarea%20%7B%20%20%20border:%202px%20solid%20%234a90e2;%20%20%20border-radius:%208px;%20%20%20padding:%2010px;%20%20%20font-size:%2016px;%20%20%20resize:%20vertical;%7D%23submit-button,%20%23screenshot-button%20%7B%20%20%20background-color:%20%234a90e2;%20%20%20color:%20white;%20%20%20font-size:%2018px;%20%20%20padding:%2010px%2020px;%20%20%20border-radius:%208px;%20%20%20border:%20none;%20%20%20cursor:%20pointer;%20%20%20transition:%20background-color%200.3s%20ease;%7D%23submit-button:hover,%20%23screenshot-button:hover%20%7B%20%20%20background-color:%20%23357abd;%7D%23output-display,%20%23metrics-display%20%7B%20%20%20background-color:%20%23ffffff;%20%20%20border:%202px%20solid%20%234a90e2;%20%20%20border-radius:%208px;%20%20%20padding:%2020px;%20%20%20font-size:%2016px;%20%20%20overflow:%20auto%20!important;%20%20%20max-height:%20600px;%20%20%20margin-top:%2020px;%20%20%20box-shadow:%200%204px%206px%20rgba(0,%200,%200,%200.1);%7D%23loader-overlay%20%7B%20%20%20%20display:none;%20%20%20%20position:%20fixed;%20%20%20%20top:%200;%20%20%20%20left:%200;%20%20%20%20width:%200%25;%20%20%20%20height:%200%25;%20%20%20%20background-color:%20rgba(255,%20255,%20255,%200.8);%20%20%20%20display:%20flex;%20%20%20%20justify-content:%20center;%20%20%20%20align-items:%20center;%20%20%20%20z-index:%201000;%7D.pending%7Bopacity:1%20!important;%7D.loader%20%7B%20%20%20%20border:%208px%20solid%20%23f3f3f3;%20%20%20%20border-top:%208px%20solid%20%234a90e2;%20%20%20%20border-radius:%2050%25;%20%20%20%20width:%2060px;%20%20%20%20height:%2060px;%20%20%20%20animation:%20spin%201s%20linear%20infinite;%7D@keyframes%20spin%20%7B%20%20%200%25%20%7B%20transform:%20rotate(0deg);%20%7D%20%20%20100%25%20%7B%20transform:%20rotate(360deg);%20%7D%7D@media%20only%20screen%20and%20(max-width:%20768px)%20%7B%20%20%20.gradio-container%20.row%20%7B%20%20%20%20%20%20%20flex-direction:%20column;%20%20%20%7D%20%20%20%23output-display,%20%23metrics-display%20%7B%20%20%20%20%20%20%20max-height:%20400px;%20%20%20%7D%7D%22%22%22%23%20Initialize%20componentsknowledge_base%20=%20KnowledgeBase()knowledge_base.add_information(%22python%22,%20%22Python%20is%20a%20versatile%20programming%20language%20used%20for%20various%20applications.%22)knowledge_base.add_information(%22asyncio%22,%20%22Asyncio%20is%20a%20library%20to%20write%20concurrent%20code%20using%20the%20async/await%20syntax.%22)search_extension%20=%20LLMSearchExtension()%23%20Initialize%20ModelClient%20without%20GROQ_API_KEYmodel_client%20=%20ModelClient()processing_steps%20=%20ProcessingSteps(model_client,%20knowledge_base,%20search_extension)%23%20Create%20the%20Enhanced%20Gradio%20interfacewith%20gr.Blocks(css=custom_css)%20as%20interface:%20%20%20%20gr.Markdown(%22%22%22%20%20%20%20%23%20%F0%9F%A7%A0%20Advanced%20Multi-Step%20Processing%20Assistant%20%20%20%20**Enter%20a%20query%20to%20see%20detailed%20multi-step%20processing%20with%20integrated%20knowledge,%20web%20information%20retrieval,%20dynamic%20search%20capabilities,%20and%20synthesis.**%20%20%20%20%22%22%22)%20%20%20%20with%20gr.Row():%20%20%20%20%20%20%20%20with%20gr.Column(scale=1):%20%20%20%20%20%20%20%20%20%20%20%20query_input%20=%20gr.Textbox(%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label=%22Enter%20your%20query%22,%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20placeholder=%22e.g.,%20What%20is%20the%20tallest%20mountain%20in%20the%20world?%22,%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20lines=2,%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20max_lines=5,%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20elem_id=%22query-input%22%20%20%20%20%20%20%20%20%20%20%20%20)%20%20%20%20%20%20%20%20%20%20%20%20submit_button%20=%20gr.Button(%22Submit%22,%20elem_id=%22submit-button%22)%20%20%20%20%20%20%20%20with%20gr.Column(scale=1):%20%20%20%20%20%20%20%20%20%20%20%20metrics_display%20=%20gr.Markdown(%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label=%22%23%23%20Processing%20Metrics%22,%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20value=%22Awaiting%20input...%22,%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20elem_id=%22metrics-display%22%20%20%20%20%20%20%20%20%20%20%20%20)%20%20%20%20with%20gr.Row():%20%20%20%20%20%20%20%20output_display%20=%20gr.Markdown(%20%20%20%20%20%20%20%20%20%20%20%20label=%22%23%23%20Processing%20Steps%22,%20%20%20%20%20%20%20%20%20%20%20%20value=%22Awaiting%20input...%22,%20%20%20%20%20%20%20%20%20%20%20%20elem_id=%22output-display%22%20%20%20%20%20%20%20%20)%20%20%20%20with%20gr.Row():%20%20%20%20%20%20%20%20performance_graph%20=%20gr.Image(label=%22Performance%20Metrics%20Graph%22,%20visible=False)%20%20%20%20with%20gr.Row():%20%20%20%20%20%20%20%20loader%20=%20gr.Markdown(%20%20%20%20%20%20%20%20%20%20%20%20value=%22%22%22%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class=%22loader%22%3E%3C/div%3E%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22,%20%20%20%20%20%20%20%20%20%20%20%20visible=False,%20%20%20%20%20%20%20%20%20%20%20%20elem_id=%22loader-overlay%22%20%20%20%20%20%20%20%20)%20%20%20%20with%20gr.Row():%20%20%20%20%20%20%20%20screenshot_button%20=%20gr.Button(%22Capture%20Screenshot%22,%20elem_id=%22screenshot-button%22)%20%20%20%20%20%20%20%20screenshot_output%20=%20gr.Image(label=%22Screenshot%22,%20visible=False)%20%20%20%20submit_button.click(%20%20%20%20%20%20%20%20fn=gradio_handler,%20%20%20%20%20%20%20%20inputs=%5Bquery_input%5D,%20%20%20%20%20%20%20%20outputs=%5Boutput_display,%20metrics_display,%20performance_graph,%20loader%5D,%20%20%20%20%20%20%20%20show_progress=False%20%20%20%20)%20%20%20%20def%20take_screenshot():%20%20%20%20%20%20%20%20screenshot%20=%20capture_screenshot(output_display.value)%20%20%20%20%20%20%20%20return%20gr.update(value=screenshot,%20visible=True)%20%20%20%20screenshot_button.click(%20%20%20%20%20%20%20%20fn=take_screenshot,%20%20%20%20%20%20%20%20inputs=%5B%5D,%20%20%20%20%20%20%20%20outputs=%5Bscreenshot_output%5D%20%20%20%20)%23%20Launch%20Gradio%20interfaceif%20__name__%20==%20%22__main__%22:%20%20%20interface.launch(share=True)

Please provide a refined and more accurate answer based on this additional information.
Assistant: