INX-TEXT

/

Bailong-instruct-7B

like 44

嗨 @ikala-ray ，

只有開頭有<s>，後續不論是user的指令或是assistant回覆都是以EOS token </s>隔開。所以在您舉的例子中，正確的prompt應該如下：

<s>你好</s>我是Bailong，是由Innolux訓練的大型語言模型。我能夠使用多種語言來回答問題和提供幫助。今天有什麼可以幫忙的嗎？</s>1+1 是多少?</s>

好奇詢問有試過加入 HUMAN:, ASSISTANT: 或類似的角色 token 嗎？我還是第一次看過不同角色都用同一個分割 token 切分的

您好，

加入您說的角色token也是可行的。關於chat template的設計，完全取決於您的喜好以及設計哲學，您只須確保chat template的設計能讓模型在訓練後能依據使用者的指令正確地生成出回覆即可。如同我們的model card所述，我們也是參考Firefly項目並嘗試過後才選擇這樣設計的，我們並非這麼做的先例。