app.py

import json
import os
import random

import gradio as gr
import openai
import requests
from langchain.callbacks.base import CallbackManager
from langchain.callbacks.streaming_stdout import StreamingStdOutCallbackHandler
from langchain.chains import ConversationChain
from langchain.chat_models import ChatOpenAI
from langchain.memory import ConversationBufferWindowMemory
from langchain.prompts.chat import (ChatPromptTemplate,
                                    HumanMessagePromptTemplate,
                                    MessagesPlaceholder,
                                    SystemMessagePromptTemplate)
from pydub import AudioSegment
from pydub.playback import play

# 会話チェーン
conversation = None

# APIキーの設定
#os.environ["OPENAI_API_KEY"] = ""
openai.api_key = os.getenv('OPENAI_API_KEY')
os.environ["OPENAI_API_KEY"] = openai.api_key

# 検索APIURL
search_url = 'https://greendb.shanri.co.jp/gd/search/'

# 設定プロンプト
character_setting = "あなたは20代の看護師さんです。明るい性格で丁寧な口調で回答してください"

def get_search_result(kw):
    # getメソッドでsearch urlに対してGETリクエストを送る
    r = requests.get(search_url, params={'kw':kw})

    # JSONレスポンスからkotoba_shoujouをすべて取得
    kotoba_shoujou = []
    for hit in r.json()['hits']:
        kotoba_shoujou.append(hit['_source']['kotoba_shoujou'])

    # kotoba_shoujou文字列配列を/で連結
    kotoba_shoujou_str = '/'.join(kotoba_shoujou)

    return kotoba_shoujou_str

def speechRecognitionModel(input, chatbot, shoujou, bui, when, how, status):
    global conversation
    if not conversation:
        # チャットプロンプトテンプレート
        prompt = ChatPromptTemplate.from_messages([
            SystemMessagePromptTemplate.from_template(character_setting),
            MessagesPlaceholder(variable_name="history"),
            HumanMessagePromptTemplate.from_template("{input}")
        ])

        # チャットモデル
        llm = ChatOpenAI(
            model_name="gpt-3.5-turbo",
            max_tokens=512,
            temperature=0.2,
            streaming=True,
            callback_manager=CallbackManager([StreamingStdOutCallbackHandler()])
        )

        # メモリ
        memory = ConversationBufferWindowMemory(k=3, return_messages=True)

        # 会話チェーン
        conversation = ConversationChain(memory=memory, prompt=prompt, llm=llm, verbose=False)

    os.rename(input, input + '.wav')
    file = open(input  + '.wav', "rb")
    result = openai.Audio.transcribe(file=file, model="whisper-1", response_format="text", language="ja")
    message = f'以下に症状を示すテキストがあります。症状、いつから、どんな、つらい場所についてjson形式でまとめてください。\n{result}'
    response = conversation.predict(input=message)

    # 文字列を辞書に変換
    dict_data = json.loads(response)

    # 辞書のキーで値にアクセス
    shoujou = dict_data["症状"]
    when = dict_data["いつから"]
    how = dict_data["どんな"]
    bui = dict_data["つらい場所"]

    message = f'以下に患者さんが症状について説明した文章があります。回答のお礼と症状、いつから、どんな、つらい場所などについてまとめてねぎらってください。\n{result}'
    response = conversation.predict(input=message)

    chatbot += [[result,  response]]
    chatbot += [[None,  '引き続き質問させていただきますね。']]
    if shoujou == '不明':
        status = START
        chatbot += [[None, '症状について教えてください。']]
    elif bui == '不明':
        chatbot += [[None, '体のどのあたり（部位）がつらいか詳しく教えてください。']]
        status = BUI
    elif when == '不明':
        chatbot += [[None, 'いつから症状が始まりましたか？経過を教えてください。']]
        status = WHEN
    elif how == '不明':
        chatbot += [[None, '他、どのくらい症状はお辛いですか?']]
        status = HOW
    else:
        chatbot += [[None, '他、いつもと違うなと思う症状や思い当たることはあったりしますか。']]
        status = RELEVANCE
    return chatbot, shoujou, bui, when, how, status

def user(message, history):
    return "", history + [[message, None]]

def chat(history, status, suggest, shoujou, bui, hosoku, when, how, relevance, kiou, fukuyaku, allergy, family, job, drink, smoke, sports, stress, etc, result):
    user_message = history[-1][0]
    if status == START:
        if shoujou == '不明':
            history[-1][1] = '症状について教えてください。'
        else:
            status += 1
    if status == SYOUJOU:
        status +=1
        shoujou = user_message
        history[-1][1] = '体のどのあたり（部位）がつらいか詳しく教えてください。'
    elif status == BUI:
        status += 1
        bui = user_message
        history[-1][1] = '候補の中から症状に近い「症状ことば」があれば入力してください。\n特になければエンターを入力してください。'
        suggest = get_search_result(shoujou).split('/')
        suggest = random.sample(suggest, 20)
        suggest = ' '.join(suggest)
    elif status == HOSOKU:
        hosoku = user_message
        suggest = '症状ことばの候補が表示されます。'
        message = f'私は看護師です。私は、患者様に「今日はどんな症状でお困りですか？」と質問し、患者様は「{shoujou}」と答えました。さらに、私は「体のどのあたり（部位）がつらいか詳しく教えてください。」と質問し、患者様は「{bui}」と答えました。上記は症状に関わる回答ですか。はい、いいえで答えてください。'
        response = conversation.predict(input=message)
        history[-1][1] = response
        if 'はい' in response:
            status += 1
            message = f'以下の文章をまとめ、確認してください。\n{shoujou}。{bui}。{hosoku}'
            response = conversation.predict(input=message)
            history[-1][1] = f'{response}\nこれから上手く症状をお伝えできるように色々質問します。\nいつから症状が始まりましたか？経過を教えてください。'
        else:
            history[-1][1] = f'{response}\nお力になれるよう、改めてもう少し詳しく症状をお伺いできますか？'
    elif status == WHEN:
        status += 1
        when = user_message
        history[-1][1] = 'どのくらい症状はお辛いですか？'
    elif status == HOW:
        status += 1
        how = user_message
        history[-1][1] = '他、いつもと違うなと思う症状や思い当たることはあったりしますか。'
    elif status == RELEVANCE:
        status += 1
        relevance = user_message
        message = f'私は看護師です。以下をまとめ、まとめた文章だけを記載してください。\n{shoujou}。{bui}。{hosoku}。{when}。{how}。{relevance}。'
        response = conversation.predict(input=message)
        history[-1][1] = response + '\n今までかかった病気や現在治療中の病気はありますか？'
    elif status == KIOU:
        status += 1
        kiou = user_message
        history[-1][1] = '現在飲まれているお薬やサプリメントはありますか？'
    elif status == FUKUYAKU:
        status += 1
        fukuyaku = user_message
        history[-1][1] = '体質についてお伺いさせてください。\n・特になし\n・アレルギーあり\n・便秘しやすい\n・下痢しやすい\n・かぶれやすい\n・胃が弱い\n・冷え性\n・その他'
    elif status == ALLERGY:
        status += 1
        allergy = user_message
        message = f'私は看護師です。以下をまとめ、まとめた文章だけを記載してください。{kiou}。{fukuyaku}, {allergy}。'
        response = conversation.predict(input=message)
        history[-1][1] = f'{response}\n医師はあなたをよく理解して治療をしたいと考えていますよ。\nあなたのライフスタイルを少しお伺いさせてください。\nご家族と一緒に住んでいますか？それとも一人暮らしですか？'
    elif status == FAMILY:
        status += 1
        family = user_message
        message = f'私は看護師です。私は、患者様に「ご家族と一緒に住んでいますか？それとも一人暮らしですか？」と質問し、患者様は\n「{family}」と回答しました。これは質問に対する適切な回答ですか。はい、いいえで答えてください。'
        response = conversation.predict(input=message)
        if 'はい' in response:
            history[-1][1] = 'どんなお仕事をされていらっしゃいますか。'
        else:
            history[-1][1] = '次の質問へうつりますね。\nどんなお仕事をされていらっしゃいますか。'
    elif status == JOB:
        status += 1
        job = user_message
        message = f'私は看護師です。私は、患者様に「どんなお仕事をされていらっしゃいますか。」と質問し、患者様は\n「{job}」と回答しました。これは質問に対する適切な回答ですか。はい、いいえで答えてください。'
        response = conversation.predict(input=message)
        if 'はい' in response:
            history[-1][1] = 'お酒を飲まれますか？\n・お酒は飲まない\n・お酒を飲む→（お酒の種類・量・頻度を教えてください。例：缶ビール2本を毎日）'
        else:
            history[-1][1] = '次の質問へうつりますね。\nお酒を飲まれますか？\n・お酒は飲まない\n・お酒を飲む→（お酒の種類・量・頻度を教えてください。例：缶ビール2本を毎日）'
    elif status == DRINK:
        status += 1
        drink = user_message
        message = f'私は看護師です。私は、患者様に「お酒を飲まれますか？お酒の種類・量・頻度を教えてください。」と質問し、患者様は\n「{drink}」と回答しました。これは質問に対する適切な回答ですか。はい、いいえで答えてください。'
        response = conversation.predict(input=message)
        if 'はい' in response:
            history[-1][1] = 'タバコを吸われますか？\n・タバコは吸わない\n・タバコは以前吸っていたがやめた・タバコを吸う→（一日何本吸いますか？）'
        else:
            history[-1][1] = '次の質問へうつりますね。\nタバコを吸われますか？\n・タバコは吸わない\n・タバコは以前吸っていたがやめた・タバコを吸う→（一日何本吸いますか？）'
    elif status == SMOKE:
        status += 1
        smoke = user_message
        message = f'私は看護師です。私は、患者様に「タバコを吸われますか？一日何本吸いますか？」と質問し、患者様は\n「{smoke}」と回答しました。これは質問に対する適切な回答ですか。はい、いいえで答えてください。'
        response = conversation.predict(input=message)
        if 'はい' in response:
            history[-1][1] = '運動はされますか？\n・運動はしない\n・運動をする→（どんな運動をされますか？頻度は？）'
        else:
            history[-1][1] = '次の質問へうつりますね。\n運動はされますか？\n・運動はしない\n・運動をする→（どんな運動をされますか？頻度は？）'
    elif status == SPORTS:
        status += 1
        sports = user_message
        message = f'私は看護師です。私は、患者様に「運動はされますか？どんな運動をされますか？頻度は？」と質問し、患者様は\n「{sports}」と回答しました。これは質問に対する適切な回答ですか。はい、いいえで答えてください。'
        response = conversation.predict(input=message)
        if 'はい' in response:
            history[-1][1] = '夜は十分睡眠がとれていますか？\n・睡眠がとれている\n・睡眠がとれていない→（どんなことでお困りですか？）'
        else:
            history[-1][1] = '次の質問へうつりますね。\n夜は十分睡眠がとれていますか？\n・睡眠がとれている\n・睡眠がとれていない→（どんなことでお困りですか？）'
    elif status == STRESS:
        status += 1
        stress = user_message
        message = f'私は看護師です。以下をまとめ、まとめた文章だけを記載してください。{family}、{job}、{drink}、{smoke}、{sports}、{stress}、{etc}。'
        response = conversation.predict(input=message)
        history[-1][1] = f'{response}\n最後に何か医師にお伝えされたいこと、お聞きになりたいことはありますか。'
    elif status == ETC:
        etc = user_message
        message = f'私は看護師です。以下をまとめ、箇条書きで記載してください。{shoujou}、{bui}、{hosoku}、{when}、{relevance}、{kiou}、{fukuyaku}、{allergy}、{family}、{job}、{drink}、{smoke}、{sports}、{stress}、{etc}。'
        history[-1][1] = conversation.predict(input=message)
        message = f'私は看護師です。以下をまとめ、箇条書きで記載してください。症状：{shoujou}、部位：{bui}、補足：{hosoku}、いつから：{when}、いつもと違う：{relevance}、既往症：{kiou}、服薬：{fukuyaku}、アレルギー：{allergy}、家族歴：{family}、職歴：{job}、飲酒：{drink}、喫煙：{smoke}、運動：{sports}、ストレス：{stress}、その他：{etc}。'
        result = conversation.predict(input=message)

    return history, status, suggest, shoujou, bui, hosoku, when, how, relevance, kiou, fukuyaku, allergy, family, job, drink, smoke, sports, stress, etc, result

def init_firstmsg():
    history = [[None, '医師に症状を伝えるときに役立つ初診問診をスタートしますね！']]
    history += [[None, '今日はどんな症状でお困りですか？']]
    history += [[None, 'いつから、どんな、どのくらいの症状があるでしょうか。また、つらい場所などもお伝え下さい。']]
    history += [[None, 'それでは録音ボタンを押してお話ください。終わりましたらもう一度録音ボタンを押してください。']]

    return history

START = 0
SYOUJOU = 1
BUI = 2
HOSOKU = 3
WHEN = 4
HOW = 5
RELEVANCE = 6
KIOU = 7
FUKUYAKU = 8
ALLERGY = 9
FAMILY = 10
JOB = 11
DRINK = 12
SMOKE = 13
SPORTS = 14
STRESS = 15
ETC = 16

# フロントエンド
with gr.Blocks() as demo:
    with gr.Column(scale=0.6):
        # コンポーネント
        firstmsg = gr.Chatbot()
        audio = gr.inputs.Audio(source="microphone", type="filepath")
        chatbot = gr.Chatbot()
        msg = gr.Textbox(show_label = False)
        gr.Markdown('---')
        suggest = gr.Textbox(label = '候補', interactive = False, value = '症状ことばの候補が表示されます。')
        status = gr.Number(value = START, visible = False)
        shoujou = gr.Textbox(visible = False)
        bui = gr.Textbox(visible = False)
        hosoku = gr.Textbox(visible = False)
        when = gr.Textbox(visible = False)
        how = gr.Textbox(visible = False)
        relevance = gr.Textbox(visible = False)
        kiou = gr.Textbox(visible = False)
        fukuyaku = gr.Textbox(visible = False)
        allergy = gr.Textbox(visible = False)
        family = gr.Textbox(visible = False)
        job = gr.Textbox(visible = False)
        drink = gr.Textbox(visible = False)
        smoke = gr.Textbox(visible = False)
        sports = gr.Textbox(visible = False)
        stress = gr.Textbox(visible = False)
        etc = gr.Textbox(visible = False)
        result = gr.Textbox(label = 'まとめ', interactive = False)

    demo.load(init_firstmsg, None, firstmsg, queue=False)

    audio.change(speechRecognitionModel, inputs=[audio, chatbot, shoujou, bui, when, how, status], outputs=[chatbot, shoujou, bui, when, how, status])
#    audio.change(chat, [chatbot, status, suggest, shoujou, bui, hosoku, when, how, relevance, kiou, fukuyaku, allergy, family, job, drink, smoke, sports, stress, etc, result], [chatbot, status, suggest, shoujou, bui, hosoku, when, how, relevance, kiou, fukuyaku, allergy, family, job, drink, smoke, sports, stress, etc, result])

#    demo.load(init_chatbot, None, chatbot, queue=False)

    msg.submit(user, [msg, chatbot], [msg, chatbot], queue=False).then(
        chat, [chatbot, status, suggest, shoujou, bui, hosoku, when, how, relevance, kiou, fukuyaku, allergy, family, job, drink, smoke, sports, stress, etc, result],
        [chatbot, status, suggest, shoujou, bui, hosoku, when, how, relevance, kiou, fukuyaku, allergy, family, job, drink, smoke, sports, stress, etc, result]
    )

if __name__ == "__main__":
    demo.launch()