Create app.py

app.py

@@ -1,28 +1,27 @@
-import os
-from huggingface_hub import InferenceClient
 import streamlit as st
+from huggingface_hub import InferenceClient
 
-# 환경 변수에서 Hugging Face 토큰 가져오기
-HF_TOKEN = os.getenv("HF_TOKEN")
+# Hugging Face API 토큰을 secrets에서 불러옴
+HF_TOKEN = st.secrets["HF_TOKEN"]
 
-# Inference Client 설정
+# Inference Client 설정 (GRIN-MoE 모델 사용)
 client = InferenceClient(
-    "https://<your-endpoint-url>",  # Inference Endpoint URL
-    token=HF_TOKEN  # Hugging Face 토큰을 환경 변수에서 불러옴
+    repo_id="microsoft/GRIN-MoE",
+    token=HF_TOKEN
 )
 
-# Streamlit 앱 페이지 설정
-st.set_page_config(page_title="GRIN-MoE Chat", page_icon="🤖")
-st.title("GRIN-MoE와 대화해보세요!")
+# Streamlit 페이지 설정
+st.set_page_config(page_title="GRIN-MoE AI Chat", page_icon="🤖")
+st.title("GRIN-MoE 모델과 대화해보세요!")
 
-# 채팅 히스토리 유지
+# 채팅 기록을 세션에 저장
 if 'messages' not in st.session_state:
     st.session_state.messages = []
 
-# 사용자 입력
-user_input = st.text_input("입력 메시지를 작성하세요:")
+# 사용자 입력 받기
+user_input = st.text_input("질문을 입력하세요:")
 
-# Stream을 처리하는 함수
+# 스트리밍 응답 함수
 def generate_streaming_response(prompt):
     response_text = ""
     for message in client.chat_completion(
@@ -34,22 +33,23 @@ def generate_streaming_response(prompt):
         response_text += delta
         yield delta
 
-# 입력 메시지가 있을 때만 대화 처리
+# 대화 처리
 if user_input:
     st.session_state.messages.append({"role": "user", "content": user_input})
 
-    # Streamlit에서 채팅을 출력하는 영역
-    with st.spinner('GRIN-MoE가 응답하는 중...'):
+    # AI 응답을 스트리밍 방식으로 보여줌
+    with st.spinner('AI가 응답하는 중...'):
         response_text = ""
         for delta in generate_streaming_response(user_input):
             response_text += delta
             st.write(response_text)
+
         st.session_state.messages.append({"role": "assistant", "content": response_text})
 
-# 이전 메시지 표시
+# 이전 대화 기록 출력
 if st.session_state.messages:
     for msg in st.session_state.messages:
         if msg["role"] == "user":
             st.write(f"**사용자:** {msg['content']}")
         else:
-            st.write(f"**GRIN-MoE:** {msg['content']}")
+            st.write(f"**AI:** {msg['content']}")