update

app.py

@@ -15,7 +15,8 @@ from openai import (
 
 
 # GPT用設定
-SYS_PROMPT_DEFAULT = "あなたは優秀なアシスタントです。回答は日本語でお願いします。"
+DF_INSTRUCTIONS = "あなたはイラストレーターです。提供されている関数を使用して画像を作ったり、画像を解析したりします。"
+DF_MODEL = "gpt-3.5-turbo-1106"
 DUMMY = "********************"
 file_format = {".png", ".jpeg", ".jpg", ".webp", ".gif", ".PNG", ".JPEG", ".JPG", ".WEBP", ".GIF"}
 
@@ -40,6 +41,7 @@ pt = r".*\[(.*)\]\((.*)\)"
 # サンプル用情報
 examples = ["1980s anime girl with straight bob-cut in school uniform, roughly drawn drawing"
           , "a minimalisit logo for a sporting goods company"]
+          # , "この画像について説明して下さい。"]
 
 
 # 各関数定義
@@ -60,17 +62,17 @@ def init(state, text, image):
 
     err_msg = ""
 
-    print(state)
+    if state["openai_key"] == "" or state["openai_key"] is None:
 
-    # if state["openai_key"] == "" or state["openai_key"] is None:
+        # OpenAI API Key未入力
+        err_msg = "OpenAI API Keyを入力してください。（設定タブ）"
 
-    #     # OpenAI API Key未入力
-    #     err_msg = "OpenAI API Keyを入力してください。（設定タブ）"
+        return state, err_msg
 
     if not text:
 
         # テキスト未入力
-        err_msg = "テキストを入力して下さい。"
+        err_msg = "プロンプトを入力して下さい。"
 
         return state, err_msg
 
@@ -79,8 +81,6 @@ def init(state, text, image):
         # 入力画像のファイル形式チェック
         root, ext = os.path.splitext(image)
 
-        print(ext, file_format)
-
         if ext not in file_format:
 
             # ファイル形式チェック
@@ -93,8 +93,8 @@ def init(state, text, image):
         if state["client"] is None:
 
             # 初回起動時は初期処理をする
-            os.environ["OPENAI_API_KEY"] = os.environ["TEST_OPENAI_KEY"]   # テスト時
-            # os.environ["OPENAI_API_KEY"] = state["openai_key"]
+            # os.environ["OPENAI_API_KEY"] = os.environ["TEST_OPENAI_KEY"]   # テスト時
+            os.environ["OPENAI_API_KEY"] = state["openai_key"]
 
             # クライアント新規作成
             client = OpenAI()
@@ -126,27 +126,27 @@ def init(state, text, image):
         if state["assistant_id"] == "":
 
             # アシスタント作成
-            # assistant = client.beta.assistants.create(
-            #   name="codeinter_test",
-            #   instructions=state["system_prompt"],
-            #   # model="gpt-4-1106-preview",
-            #   model="gpt-3.5-turbo-1106",
-            #   tools=[{"type": "code_interpreter"}]
-            # )
-            # state["assistant_id"] = assistant.id
+            assistant = client.beta.assistants.create(
+                name="GPT_Illustrator",
+                instructions=DF_INSTRUCTIONS,
+                model=DF_MODEL,
+                tools=[func_Vision, func_Dall_E3]
+            )
 
-            state["assistant_id"] = os.environ["ASSIST_ID"]   # テスト中アシスタントは固定
+            # アシスタントIDセット
+            state["assistant_id"] = assistant.id
+            # state["assistant_id"] = os.environ["ASSIST_ID"]   # テスト中アシスタントは固定
 
-        else:
+        # else:
 
-            # アシスタント確認（IDが存在しないならエラーとなる）
-            assistant = client.beta.assistants.retrieve(state["assistant_id"])
+        #     # アシスタント確認（IDが存在しないならエラーとなる）
+        #     assistant = client.beta.assistants.retrieve(state["assistant_id"])
 
         # ユーザIDでフォルダ作成
         os.makedirs(state["user_id"], exist_ok=True)
 
-    except NotFoundError as e:
-        err_msg = "アシスタントIDが間違っています。新しく作成する場合はアシスタントIDを空欄にして下さい。"
+    # except NotFoundError as e:
+    #     err_msg = "アシスタントIDが間違っています。新しく作成する場合はアシスタントIDを空欄にして下さい。"
     except AuthenticationError as e:
         err_msg = "認証エラーとなりました。OpenAPIKeyが正しいか、支払い方法などが設定されているか確認して下さい。"
     except Exception as e:
@@ -234,18 +234,11 @@ def bot(state, history, image_path):
           run_id=run.id
         )
 
-        print(run.status)
-
         if run.status == "requires_action":   # 関数の結果の待ちの場合
 
-            print(run.required_action)
-
             # tool_callsの各項目取得
             tool_calls = run.required_action.submit_tool_outputs.tool_calls
 
-            print(len(tool_calls))
-            print(tool_calls)
-
             # 一つ目だけ取得
             tool_id = tool_calls[0].id
             func_name = tool_calls[0].function.name
@@ -290,8 +283,6 @@ def bot(state, history, image_path):
                 # 10枚以上生成した場合終了とする
                 func_output = '{"answer" : "", "error_message" : "画像の生成上限を超えました。"}'
 
-            print(func_output)
-
             # tool_outputリストに追加
             tool_outputs.append({"tool_call_id": tool_id, "output": func_output})
 
@@ -306,8 +297,6 @@ def bot(state, history, image_path):
                          # ダミー をセットする
                         tool_outputs.append({"tool_call_id": tool_call.id, "output": '{"answer" : ""}'})
 
-            print(tool_outputs)
-
             # 関数の出力を提出
             run = client.beta.threads.runs.submit_tool_outputs(
                 thread_id=thread_id,
@@ -375,8 +364,6 @@ def bot(state, history, image_path):
 
                             if image_preview:
 
-                                print(out_image_path)
-
                                 # Functionで画像を取得していた場合表示
                                 history = history + [(None, (out_image_path,))]
 
@@ -430,9 +417,6 @@ def func_action(state, func_name, func_args):
     quality = state["quality"]
     detail = state["detail"]
 
-    print("name:", func_name)
-    print("arguments:", func_args)
-
     if func_name == "request_DallE3":
 
         func_output = request_DallE3(
@@ -515,7 +499,7 @@ with gr.Blocks() as demo:
     title = "<h2>GPT画像入出力対応チャット</h2>"
     message = "<h3>・DallE3の画像生成とGPT-4 with Visionの画像解析が利用できます。<br>"
     message += "・DallE3を利用する場合はプロンプト、GPT-4 Visionを利用する場合は画像とプロンプトを入力して下さい。<br>"
-    message += "・テスト中でAPIKEY無しで動きます。（画像は10枚まで生成可能です。）<br>"
+    message += "・テスト中でAPIKEY無しで動きます。（画像は10枚まで生成可能）<br>"
     message += "・動画での紹介はこちら→https://www.youtube.com/watch?v=CIxVPNBMFQw<br>"
     message += "</h3>"
 
@@ -549,11 +533,12 @@ with gr.Blocks() as demo:
         btn_dl = gr.Button(value="画像の一括ダウンロード")  # 保留中
         btn_clear = gr.ClearButton(value="リセット", components=[chatbot, text_msg])
 
+      sys_msg = gr.Textbox(label="システムメッセージ", interactive = False)
+
       with gr.Row():
         image = gr.Image(label="ファイルアップロード", type="filepath",interactive = True)
         out_image = gr.Image(label="出力画像", type="filepath", interactive = False)
 
-      sys_msg = gr.Textbox(label="システムメッセージ", interactive = False)
       # out_text = gr.Textbox(label="出力テキスト", lines = 5, interactive = False)
       out_file = gr.File(label="出力ファイル", type="filepath",interactive = False)
 
@@ -573,9 +558,9 @@ with gr.Blocks() as demo:
 
     with gr.Tab("設定") as set:
 
-      # gr.Markdown("<h4>OpenAI設定</h4>")
-      # with gr.Row():
-      openai_key = gr.Textbox(label="OpenAI API Key", visible=False)   # テスト中は表示せず
+      gr.Markdown("<h4>OpenAI設定</h4>")
+      with gr.Row():
+        openai_key = gr.Textbox(label="OpenAI API Key")   # テスト中は表示せず
       # system_prompt = gr.Textbox(value = SYS_PROMPT_DEFAULT,lines = 5, label="Custom instructions", interactive = True)
       gr.Markdown("<h4>DaLL-E3用設定</h4>")
       with gr.Row():
@@ -598,6 +583,37 @@ with gr.Blocks() as demo:
             gr.Markdown("<h3>" + caution + "</h3>")
 
 
+# 関数情報
+func_Dall_E3 = {
+        "type": "function",
+        "function": {
+            "name": "request_DallE3",
+            "description": "画像生成AI「dall-e-3」で指定のPromptから画像を作る。",
+            "parameters": {
+                "type": "object",
+                "properties": {
+                    "prompt": {"type": "string", "description": "画像を作るためのPrompt"},
+                },
+                "required": ["prompt"]
+            }
+        }
+    }
+
+func_Vision = {
+        "type": "function",
+        "function": {
+            "name": "request_Vision",
+            "description": "画像解析技術「Vision」により、指定の画像に関する質問に回答する。",
+            "parameters": {
+                "type": "object",
+                "properties": {
+                    "prompt": {"type": "string", "description": "画像に対する質問内容（Prompt）"},
+                },
+                "required": ["prompt"]
+            }
+        }
+    }
+
 def request_DallE3(client, prompt, size, quality, out_image_path):
 
     err_msg = ""
@@ -613,8 +629,6 @@ def request_DallE3(client, prompt, size, quality, out_image_path):
         response_format="b64_json"
         )
 
-        print(response.data[0])
-
         # データを受け取りデコード
         image_data_json = response.data[0].b64_json
         image_data = base64.b64decode(image_data_json)
@@ -676,6 +690,8 @@ def request_Vision(client, prompt, image_path, detail, max_tokens):
             }
         ]
 
+        print(messages)
+
         # gpt-4-visionに問い合わせて回答を表示
         response = client.chat.completions.create(
             model="gpt-4-vision-preview",   # Visionはこのモデル指定
@@ -685,8 +701,6 @@ def request_Vision(client, prompt, image_path, detail, max_tokens):
 
         response_text = response.choices[0].message.content
 
-        print(response_text)
-
     except BadRequestError as e:
         print(e)
         err_msg = "リクエストエラーです。画像がポリシー違反でないか確認して下さい。"
@@ -703,7 +717,7 @@ def request_Vision(client, prompt, image_path, detail, max_tokens):
         }
         return json.dumps(vision_result)
     
-
+    
 if __name__ == '__main__':
 
     demo.queue()

requirements.txt

@@ -1,2 +1,2 @@
 # gradio==4.2.0
-openai==1.3.5
+openai==1.6.0