first commit

app.py

@@ -0,0 +1,299 @@
+import json
+import os
+import random
+
+import gradio as gr
+import openai
+import requests
+from langchain.callbacks.base import CallbackManager
+from langchain.callbacks.streaming_stdout import StreamingStdOutCallbackHandler
+from langchain.chains import ConversationChain
+from langchain.chat_models import ChatOpenAI
+from langchain.memory import ConversationBufferWindowMemory
+from langchain.prompts.chat import (ChatPromptTemplate,
+                                    HumanMessagePromptTemplate,
+                                    MessagesPlaceholder,
+                                    SystemMessagePromptTemplate)
+from pydub import AudioSegment
+from pydub.playback import play
+
+# 会話チェーン
+conversation = None
+
+# APIキーの設定
+#os.environ["OPENAI_API_KEY"] = ""
+openai.api_key = os.getenv('OPENAI_API_KEY')
+
+# 検索APIURL
+search_url = 'https://greendb.shanri.co.jp/gd/search/'
+
+# 設定プロンプト
+character_setting = "あなたは20代の看護師さんです。明るい性格で丁寧な口調で回答してください"
+
+def get_search_result(kw):
+    # getメソッドでsearch urlに対してGETリクエストを送る
+    r = requests.get(search_url, params={'kw':kw})
+
+    # JSONレスポンスからkotoba_shoujouをすべて取得
+    kotoba_shoujou = []
+    for hit in r.json()['hits']:
+        kotoba_shoujou.append(hit['_source']['kotoba_shoujou'])
+
+    # kotoba_shoujou文字列配列を/で連結
+    kotoba_shoujou_str = '/'.join(kotoba_shoujou)
+
+    return kotoba_shoujou_str
+
+def speechRecognitionModel(input, chatbot, shoujou, bui, when, how, status):
+    global conversation
+    if not conversation:
+        # チャットプロンプトテンプレート
+        prompt = ChatPromptTemplate.from_messages([
+            SystemMessagePromptTemplate.from_template(character_setting),
+            MessagesPlaceholder(variable_name="history"),
+            HumanMessagePromptTemplate.from_template("{input}")
+        ])
+
+        # チャットモデル
+        llm = ChatOpenAI(
+            model_name="gpt-3.5-turbo",
+            max_tokens=512,
+            temperature=0.2,
+            streaming=True,
+            callback_manager=CallbackManager([StreamingStdOutCallbackHandler()])
+        )
+
+        # メモリ
+        memory = ConversationBufferWindowMemory(k=3, return_messages=True)
+
+        # 会話チェーン
+        conversation = ConversationChain(memory=memory, prompt=prompt, llm=llm, verbose=False)
+
+    os.rename(input, input + '.wav')
+    file = open(input  + '.wav', "rb")
+    result = openai.Audio.transcribe(file=file, model="whisper-1", response_format="text", language="ja")
+    message = f'以下に症状を示すテキストがあります。症状、いつから、どんな、つらい場所についてjson形式でまとめてください。\n{result}'
+    response = conversation.predict(input=message)
+
+    # 文字列を辞書に変換
+    dict_data = json.loads(response)
+
+    # 辞書のキーで値にアクセス
+    shoujou = dict_data["症状"]
+    when = dict_data["いつから"]
+    how = dict_data["どんな"]
+    bui = dict_data["つらい場所"]
+
+    message = f'以下に患者さんが症状について説明した文章があります。回答のお礼と症状、いつから、どんな、つらい場所などについてまとめてねぎらってください。\n{result}'
+    response = conversation.predict(input=message)
+
+    chatbot += [[result,  response]]
+    chatbot += [[None,  '引き続き質問させていただきますね。']]
+    if shoujou == '不明':
+        status = START
+        chatbot += [[None, '症状について教えてください。']]
+    elif bui == '不明':
+        chatbot += [[None, '体のどのあたり（部位）がつらいか詳しく教えてください。']]
+        status = BUI
+    elif when == '不明':
+        chatbot += [[None, 'いつから症状が始まりましたか？経過を教えてください。']]
+        status = WHEN
+    elif how == '不明':
+        chatbot += [[None, '他、どのくらい症状はお辛いですか?']]
+        status = HOW
+    else:
+        chatbot += [[None, '他、いつもと違うなと思う症状や思い当たることはあったりしますか。']]
+        status = RELEVANCE
+    return chatbot, shoujou, bui, when, how, status
+
+def user(message, history):
+    return "", history + [[message, None]]
+
+def chat(history, status, suggest, shoujou, bui, hosoku, when, how, relevance, kiou, fukuyaku, allergy, family, job, drink, smoke, sports, stress, etc, result):
+    user_message = history[-1][0]
+    if status == START:
+        if shoujou == '不明':
+            history[-1][1] = '症状について教えてください。'
+        else:
+            status += 1
+    if status == SYOUJOU:
+        status +=1
+        shoujou = user_message
+        history[-1][1] = '体のどのあたり（部位）がつらいか詳しく教えてください。'
+    elif status == BUI:
+        status += 1
+        bui = user_message
+        history[-1][1] = '候補の中から症状に近い「症状ことば」があれば入力してください。\n特になければエンターを入力してください。'
+        suggest = get_search_result(shoujou).split('/')
+        suggest = random.sample(suggest, 20)
+        suggest = ' '.join(suggest)
+    elif status == HOSOKU:
+        hosoku = user_message
+        suggest = '症状ことばの候補が表示されます。'
+        message = f'私は看護師です。私は、患者様に「今日はどんな症状でお困りですか？」と質問し、患者様は「{shoujou}」と答えました。さらに、私は「体のどのあたり（部位）がつらいか詳しく教えてください。」と質問し、患者様は「{bui}」と答えました。上記は症状に関わる回答ですか。はい、いいえで答えてください。'
+        response = conversation.predict(input=message)
+        history[-1][1] = response
+        if 'はい' in response:
+            status += 1
+            message = f'以下の文章をまとめ、確認してください。\n{shoujou}。{bui}。{hosoku}'
+            response = conversation.predict(input=message)
+            history[-1][1] = f'{response}\nこれから上手く症状をお伝えできるように色々質問します。\nいつから症状が始まりましたか？経過を教えてください。'
+        else:
+            history[-1][1] = f'{response}\nお力になれるよう、改めてもう少し詳しく症状をお伺いできますか？'
+    elif status == WHEN:
+        status += 1
+        when = user_message
+        history[-1][1] = 'どのくらい症状はお辛いですか？'
+    elif status == HOW:
+        status += 1
+        how = user_message
+        history[-1][1] = '他、いつもと違うなと思う症状や思い当たることはあったりしますか。'
+    elif status == RELEVANCE:
+        status += 1
+        relevance = user_message
+        message = f'私は看護師です。以下をまとめ、まとめた文章だけを記載してください。\n{shoujou}。{bui}。{hosoku}。{when}。{how}。{relevance}。'
+        response = conversation.predict(input=message)
+        history[-1][1] = response + '\n今までかかった病気や現在治療中の病気はありますか？'
+    elif status == KIOU:
+        status += 1
+        kiou = user_message
+        history[-1][1] = '現在飲まれているお薬やサプリメントはありますか？'
+    elif status == FUKUYAKU:
+        status += 1
+        fukuyaku = user_message
+        history[-1][1] = '体質についてお伺いさせてください。\n・特になし\n・アレルギーあり\n・便秘しやすい\n・下痢しやすい\n・かぶれやすい\n・胃が弱い\n・冷え性\n・その他'
+    elif status == ALLERGY:
+        status += 1
+        allergy = user_message
+        message = f'私は看護師です。以下をまとめ、まとめた文章だけを記載してください。{kiou}。{fukuyaku}, {allergy}。'
+        response = conversation.predict(input=message)
+        history[-1][1] = f'{response}\n医師はあなたをよく理解して治療をしたいと考えていますよ。\nあなたのライフスタイルを少しお伺いさせてください。\nご家族と一緒に住んでいますか？それとも一人暮らしですか？'
+    elif status == FAMILY:
+        status += 1
+        family = user_message
+        message = f'私は看護師です。私は、患者様に「ご家族と一緒に住んでいますか？それとも一人暮らしですか？」と質問し、患者様は\n「{family}」と回答しました。これは質問に対する適切な回答ですか。はい、いいえで答えてください。'
+        response = conversation.predict(input=message)
+        if 'はい' in response:
+            history[-1][1] = 'どんなお仕事をされていらっしゃいますか。'
+        else:
+            history[-1][1] = '次の質問へうつりますね。\nどんなお仕事をされていらっしゃいますか。'
+    elif status == JOB:
+        status += 1
+        job = user_message
+        message = f'私は看護師です。私は、患者様に「どんなお仕事をされていらっしゃいますか。」と質問し、患者様は\n「{job}」と回答しました。これは質問に対する適切な回答ですか。はい、いいえで答えてください。'
+        response = conversation.predict(input=message)
+        if 'はい' in response:
+            history[-1][1] = 'お酒を飲まれますか？\n・お酒は飲まない\n・お酒を飲む→（お酒の種類・量・頻度を教えてください。例：缶ビール2本を毎日）'
+        else:
+            history[-1][1] = '次の質問へうつりますね。\nお酒を飲まれますか？\n・お酒は飲まない\n・お酒を飲む→（お酒の種類・量・頻度を教えてください。例：���ビール2本を毎日）'
+    elif status == DRINK:
+        status += 1
+        drink = user_message
+        message = f'私は看護師です。私は、患者様に「お酒を飲まれますか？お酒の種類・量・頻度を教えてください。」と質問し、患者様は\n「{drink}」と回答しました。これは質問に対する適切な回答ですか。はい、いいえで答えてください。'
+        response = conversation.predict(input=message)
+        if 'はい' in response:
+            history[-1][1] = 'タバコを吸われますか？\n・タバコは吸わない\n・タバコは以前吸っていたがやめた・タバコを吸う→（一日何本吸いますか？）'
+        else:
+            history[-1][1] = '次の質問へうつりますね。\nタバコを吸われますか？\n・タバコは吸わない\n・タバコは以前吸っていたがやめた・タバコを吸う→（一日何本吸いますか？）'
+    elif status == SMOKE:
+        status += 1
+        smoke = user_message
+        message = f'私は看護師です。私は、患者様に「タバコを吸われますか？一日何本吸いますか？」と質問し、患者様は\n「{smoke}」と回答しました。これは質問に対する適切な回答ですか。はい、いいえで答えてください。'
+        response = conversation.predict(input=message)
+        if 'はい' in response:
+            history[-1][1] = '運動はされますか？\n・運動はしない\n・運動をする→（どんな運動をされますか？頻度は？）'
+        else:
+            history[-1][1] = '次の質問へうつりますね。\n運動はされますか？\n・運動はしない\n・運動をする→（どんな運動をされますか？頻度は？）'
+    elif status == SPORTS:
+        status += 1
+        sports = user_message
+        message = f'私は看護師です。私は、患者様に「運動はされますか？どんな運動をされますか？頻度は？」と質問し、患者様は\n「{sports}」と回答しました。これは質問に対する適切な回答ですか。はい、いいえで答えてください。'
+        response = conversation.predict(input=message)
+        if 'はい' in response:
+            history[-1][1] = '夜は十分睡眠がとれていますか？\n・睡眠がとれている\n・睡眠がとれていない→（どんなことでお困りですか？）'
+        else:
+            history[-1][1] = '次の質問へうつりますね。\n夜は十分睡眠がとれていますか？\n・睡眠がとれている\n・睡眠がとれていない→（どんなことでお困りですか？）'
+    elif status == STRESS:
+        status += 1
+        stress = user_message
+        message = f'私は看護師です。以下をまとめ、まとめた文章だけを記載してください。{family}、{job}、{drink}、{smoke}、{sports}、{stress}、{etc}。'
+        response = conversation.predict(input=message)
+        history[-1][1] = f'{response}\n最後に何か医師にお伝えされたいこと、お聞きになりたいことはありますか。'
+    elif status == ETC:
+        etc = user_message
+        message = f'私は看護師です。以下をまとめ、箇条書きで記載してください。{shoujou}、{bui}、{hosoku}、{when}、{relevance}、{kiou}、{fukuyaku}、{allergy}、{family}、{job}、{drink}、{smoke}、{sports}、{stress}、{etc}。'
+        history[-1][1] = conversation.predict(input=message)
+        message = f'私は看護師です。以下をまとめ、箇条書きで記載してください。症状：{shoujou}、部位：{bui}、補足：{hosoku}、いつから：{when}、いつもと違う：{relevance}、既往症：{kiou}、服薬：{fukuyaku}、アレルギー：{allergy}、家族歴：{family}、職歴：{job}、飲酒：{drink}、喫煙：{smoke}、運動：{sports}、ストレス：{stress}、その他：{etc}。'
+        result = conversation.predict(input=message)
+
+    return history, status, suggest, shoujou, bui, hosoku, when, how, relevance, kiou, fukuyaku, allergy, family, job, drink, smoke, sports, stress, etc, result
+
+def init_firstmsg():
+    history = [[None, '医師に症状を伝えるときに役立つ初診問診をスタートしますね！']]
+    history += [[None, '今日はどんな症状でお困りですか？']]
+    history += [[None, 'いつから、どんな、どのくらいの症状があるでしょうか。また、つらい場所などもお伝え下さい。']]
+    history += [[None, 'それでは録音ボタンを押してお話ください。終わりましたらもう一度録音ボタンを押してください。']]
+
+    return history
+
+START = 0
+SYOUJOU = 1
+BUI = 2
+HOSOKU = 3
+WHEN = 4
+HOW = 5
+RELEVANCE = 6
+KIOU = 7
+FUKUYAKU = 8
+ALLERGY = 9
+FAMILY = 10
+JOB = 11
+DRINK = 12
+SMOKE = 13
+SPORTS = 14
+STRESS = 15
+ETC = 16
+
+# フロントエンド
+with gr.Blocks() as demo:
+    with gr.Column(scale=0.6):
+        # コンポーネント
+        firstmsg = gr.Chatbot()
+        audio = gr.inputs.Audio(source="microphone", type="filepath")
+        chatbot = gr.Chatbot()
+        msg = gr.Textbox(show_label = False)
+        gr.Markdown('---')
+        suggest = gr.Textbox(label = '候補', interactive = False, value = '症状ことばの候補が表示されます。')
+        status = gr.Number(value = START, visible = False)
+        shoujou = gr.Textbox(visible = False)
+        bui = gr.Textbox(visible = False)
+        hosoku = gr.Textbox(visible = False)
+        when = gr.Textbox(visible = False)
+        how = gr.Textbox(visible = False)
+        relevance = gr.Textbox(visible = False)
+        kiou = gr.Textbox(visible = False)
+        fukuyaku = gr.Textbox(visible = False)
+        allergy = gr.Textbox(visible = False)
+        family = gr.Textbox(visible = False)
+        job = gr.Textbox(visible = False)
+        drink = gr.Textbox(visible = False)
+        smoke = gr.Textbox(visible = False)
+        sports = gr.Textbox(visible = False)
+        stress = gr.Textbox(visible = False)
+        etc = gr.Textbox(visible = False)
+        result = gr.Textbox(label = 'まとめ', interactive = False)
+
+    demo.load(init_firstmsg, None, firstmsg, queue=False)
+
+    audio.change(speechRecognitionModel, inputs=[audio, chatbot, shoujou, bui, when, how, status], outputs=[chatbot, shoujou, bui, when, how, status])
+#    audio.change(chat, [chatbot, status, suggest, shoujou, bui, hosoku, when, how, relevance, kiou, fukuyaku, allergy, family, job, drink, smoke, sports, stress, etc, result], [chatbot, status, suggest, shoujou, bui, hosoku, when, how, relevance, kiou, fukuyaku, allergy, family, job, drink, smoke, sports, stress, etc, result])
+
+#    demo.load(init_chatbot, None, chatbot, queue=False)
+
+    msg.submit(user, [msg, chatbot], [msg, chatbot], queue=False).then(
+        chat, [chatbot, status, suggest, shoujou, bui, hosoku, when, how, relevance, kiou, fukuyaku, allergy, family, job, drink, smoke, sports, stress, etc, result],
+        [chatbot, status, suggest, shoujou, bui, hosoku, when, how, relevance, kiou, fukuyaku, allergy, family, job, drink, smoke, sports, stress, etc, result]
+    )
+
+if __name__ == "__main__":
+    demo.launch()

requirements.txt

@@ -0,0 +1,16 @@
+langchain==0.0.125
+openai==0.27.2
+chromadb==0.3.14
+pypdf==3.7.0
+tiktoken==0.3.3
+gradio
+requests
+gtts
+pydub
+
+transformers==4.24.0
+torch==1.11.0
+gradio==3.9.1
+sentencepiece==0.1.97
+fugashi==1.2.0
+unidic-lite==1.0.8