Bug fixes, improvements

app.py

@@ -6,6 +6,9 @@ from openai.error import AuthenticationError
 
 encoding = tiktoken.encoding_for_model("gpt-3.5-turbo")
 
+pd.set_option('display.max_columns', None)  # Display all columns
+pd.set_option('display.width', None)  # Automatically adjust the width to fit the content
+
 
 class Bot():
     def __init__(self):
@@ -22,7 +25,7 @@ class Bot():
 
     def set_prompts(self):
         self.eng_system_prompt = f"""You are a salesman in a car dealership. You only recommend cars that are currently in stock.
-To access the cars in stock use the padnas dataframe query method like this:
+To access the cars in stock (inventory) in your dealership use the padnas dataframe query method like this:
 
 ```
 df.query("brand.str.contains('ford')")
@@ -31,22 +34,27 @@ df.query("brand.str.contains('ford')")
 The dataframe has the following columns: ["brand", "model", "category", "kilometer", "price"]. All values are lowercased.
 Category can contain the following values: ["limousine", "offroad", "estatecar", "smallcar", "othercar", "carbo"]
 Available car brands: {self.available_car_models}
+Do not mention any other specific details about the car and do not recommend it until you query the dataframe.
+Use contains() instead of equals() to search brands, models and categories.
 
 Note that the code snippet above is illustrative and not meant to be executed by the user. It demonstrates how you internally interact with the car inventory to know which cars are in stock.
-If you are going to search for cars output only the query and no other text. Use contains() instead of equals() to search brands, models and categories."""
+If you are going to search for cars output only the query and no other text."""
+
         self.ger_system_prompt =  f"""Sie sind ein Verkäufer in einem Autohaus. Sie empfehlen nur Autos, die derzeit auf Lager sind.
-Sie können auf die im Lager befindlichen Autos über die padnas-Dataframe-Abfragemethode zugreifen, wie dies gezeigt wird:
+Um auf die im Autohaus vorhandenen Autos (Inventar) zuzugreifen, verwenden Sie die padnas-Dataframe-Abfrage-Methode wie folgt:
 
 ```
-df.query("marke.str.contains('ford')")
+df.query("brand.str.contains('ford')")
 ```
 
-Der Dataframe hat die folgenden Spalten: ["marke", "modell", "kategorie", "kilometer", "preis"] Alle Werte sind in Kleinbuchstaben. 
+Der Dataframe hat die folgenden Spalten: ["marke", "modell2", "kategorie", "kilometer", "preis", "grundfarbe"]. Alle Werte sind kleingeschrieben.
 Kategorie kann die folgenden Werte enthalten: ["limousine", "offroad", "estatecar", "smallcar", "othercar", "carbo"]
-Verfügbare Automodelle: {self.available_car_models}
+Verfügbare Auto-Marken: {self.available_car_models}
+Nennen Sie keine anderen spezifischen Details zum Auto und empfehlen Sie es nicht, bis Sie den Dataframe abgefragt haben.
+Verwenden Sie contains (), anstatt equals (), um Marken, Modelle und Kategorien zu suchen.
 
-Beachten Sie, dass der obige Codebeispiel nur als Illustration gedacht ist und nicht vom Benutzer ausgeführt werden soll. Es zeigt, wie Sie intern mit dem Autoinventar interagieren, um zu wissen, welche Autos auf Lager sind.
-Wenn Sie nach Autos suchen, geben Sie nur die Abfrage und keinen anderen Text aus. Verwenden Sie contains (), anstatt equals (), um Marken, Modelle und Kategorien zu suchen."""
+Beachten Sie, dass der Code-Schnipsel oben nur zur Illustration gedacht ist und nicht vom Benutzer ausgeführt werden soll. Er zeigt, wie Sie intern mit dem Autoinventar interagieren, um zu wissen, welche Autos auf Lager sind.
+Wenn Sie nach Autos suchen, geben Sie nur die Abfrage und keinen anderen Text aus."""
 
     def change_language(self, lang, history):
         self.lang = lang if lang in ["English", "German"] else "English"
@@ -81,7 +89,8 @@ Wenn Sie nach Autos suchen, geben Sie nur die Abfrage und keinen anderen Text au
         df = pd.read_csv(file.name)
         # drop all rows with at least one NaN value
         # only use columns marke modell kategorie kilomeret preis
-        df = df[["marke", "modell", "kategorie", "kilometer", "preis"]]
+        df = df[["marke", "modell2", "kategorie", "kilometer", "preis", "grundfarbe"]]
+        df = df.rename(columns={"modell2": "modell"})
         df = df.dropna()
         # convert price and kilometer to int
         df["preis"] = df["preis"].astype(int)
@@ -89,13 +98,14 @@ Wenn Sie nach Autos suchen, geben Sie nur die Abfrage und keinen anderen Text au
         # make marke modell kategorie lowercase
         df["marke"] = df["marke"].str.lower().str.strip()
         df["modell"] = df["modell"].str.lower().str.strip()
+        df["grundfarbe"] = df["grundfarbe"].str.lower().str.strip()
         df["kategorie"] = df["kategorie"].str.lower().str.replace("car.", "").str.strip()
         # remove duplicates
         df = df.drop_duplicates()
         self.available_car_models = df["marke"].unique()
         print(self.available_car_models)
         if self.lang == "English":
-            df = df.rename(columns={"marke": "brand", "modell": "model", "kategorie": "category", "kilometer": "kilometer", "preis": "price"})
+            df = df.rename(columns={"marke": "brand", "modell": "model", "kategorie": "category", "kilometer": "kilometer", "preis": "price", "grundfarbe": "color"})
 
         df = df.loc[:, ~df.columns.duplicated()]
 
@@ -122,9 +132,9 @@ Wenn Sie nach Autos suchen, geben Sie nur die Abfrage und keinen anderen Text au
 
         if self.df is None:
             if self.lang == "English":
-                history.append((None, "Please upload a csv file"))
+                history.append((None, "Please upload a csv file. (This might take a few minutes)"))
             else:
-                history.append((None, "Bitte laden Sie eine csv-Datei hoch"))
+                history.append((None, "Bitte laden Sie eine csv-Datei hoch. (Dies kann einige Minuten dauern)"))
             return history, False
         return history, True
 
@@ -174,6 +184,9 @@ Wenn Sie nach Autos suchen, geben Sie nur die Abfrage und keinen anderen Text au
         return history
 
     def query_db(self, response, messages):
+        # remove first before last message (previous system prompt)
+        messages.pop(-2)
+
         # extract line that contains the query
         for line in response.split("\n"):
             if "df.query" in line:
@@ -183,23 +196,20 @@ Wenn Sie nach Autos suchen, geben Sie nur die Abfrage und keinen anderen Text au
         print(query_line)
         if result.empty:
             if self.lang == "English":
-                messages.insert(-1, {"role": "system", "content": "No results for this query"})
+                messages.insert(-1, {"role": "system", "content": "No results for this query. Help user narrow their preferences."})
             else:
-                messages.insert(-1, {"role": "system", "content": "Keine Ergebnisse für diese Abfrage"})
+                messages.insert(-1, {"role": "system", "content": "Für diese Abfrage gibt es keine Ergebnisse. Helfen Sie dem Benutzer, seine Präferenzen einzugrenzen."})
         else:
-            print(result)
             # take only 50 random rows
             if len(result) > 50:
                 result = result.sample(n=50)
             result = result.to_string(index=False)
+            print(result)
             # add message to history 1 before last
             if self.lang == "English":
                 messages.insert(-1, {"role": "system", "content": f"Advice cars from this list:\n\n{result}"})
             else:
-                messages.insert(-1, {"role": "system", "content": f"Advice cars from this list:\n\n{result}"})
-
-        # remove first before last message
-        messages.pop(-2)
+                messages.insert(-1, {"role": "system", "content": f"Empfehlung von Autos aus dieser Liste:\n\n{result}"})
 
         response = openai.ChatCompletion.create(
             model="gpt-3.5-turbo",
@@ -207,6 +217,7 @@ Wenn Sie nach Autos suchen, geben Sie nur die Abfrage und keinen anderen Text au
             temperature=0.3,
         )['choices'][0]['message']['content']
         print(response)
+        # remove
         return response
 
     def _count_tokens(self, messages):