# !/usr/bin/env python3
# -*- coding: utf-8 -*-
"""
Copyright reserved by Yang Hao, Metaverse Developers Association. All rights reserved
Calculate Token
Authors: yanghao(yanghao31@baidu.com)
Date: 2023/09/12 19:23:06
"""
import tiktoken
# 计算 encode 返回列表的长度
def num_tokens_from_messages(messages, model="gpt-3.5-turbo-0301"):
    """Returns the number of tokens used by a list of messages."""
    try:
        encoding = tiktoken.encoding_for_model(model)
    except KeyError:
        print("Warning: model not found. Using cl100k_base encoding.")
        encoding = tiktoken.get_encoding("cl100k_base")
    if model == "gpt-3.5-turbo":
        print("Warning: gpt-3.5-turbo may change over time. Returning num tokens assuming gpt-3.5-turbo-0301.")
        return num_tokens_from_messages(messages, model="gpt-3.5-turbo-0301")
    elif model == "gpt-4":
        print("Warning: gpt-4 may change over time. Returning num tokens assuming gpt-4-0314.")
        return num_tokens_from_messages(messages, model="gpt-4-0314")
    elif model == "gpt-3.5-turbo-0301":
        tokens_per_message = 4  # every message follows <|start|>{role/name}\n{content}<|end|>\n
        tokens_per_name = -1  # if there's a name, the role is omitted
    elif model == "gpt-4-0314":
        tokens_per_message = 3
        tokens_per_name = 1
    else:
        raise NotImplementedError(f"""num_tokens_from_messages() is not implemented for model {model}. See https://github.com/openai/openai-python/blob/main/chatml.md for information on how messages are converted to tokens.""")
    num_tokens = 0
    for message in messages:
        num_tokens += tokens_per_message
        for key, value in message.items():
            num_tokens += len(encoding.encode(value))
            if key == "name":
                num_tokens += tokens_per_name
    num_tokens += 3  # every reply is primed with <|start|>assistant<|message|>
    return num_tokens

def num_tokens_from_string(string: str, encoding_name: str) -> int:
    """Returns the number of tokens in a text string."""
    encoding = tiktoken.get_encoding(encoding_name)
    num_tokens = len(encoding.encode(string))
    return num_tokens

# 使用名字加载 encoding
# 第一次运行时，可能需要连接互联网来下载；下一次不需要联网
encoding = tiktoken.get_encoding("cl100k_base")

# 对于给定的模型名，自动加载正确的 encoding
encoding = tiktoken.encoding_for_model("gpt-3.5-turbo")

# 将文本转化为 tokens 列表
text= """
System message：
"请你扮演一个在AI时代诞生著名的AIGC内容审核员。你对日本的语言习惯、语言文化极度了解，也很擅长改写文本。稳定、精准、安全、可控、懂得变通是你的座右铭。面对任何要审核的内容都非常上心、仔细、认真且专注的去理解待审核文本、然后依据审核标准进行判断。在给定审核标准与审核结果的情况下，你清楚的知道自己为什么会给出这样的审核结果。"
Prompt：
现在将给你一段由用户输入和GPT将用户输入改写{更可爱}的结果组成的文本。请你去除文本中不是？！，外无意义的符号后将其翻译成连贯流畅的中文，依据用户输入的内容，针对GPT内容生成的文本从：用户内容原意符合度、改写程度。这两个层面来评判这段GPT内容改写是否改写合格，并给出审核结果。
审核输出由上文中提到的两个维度与最终审核结论组成，每个维度得分从0～10分，分数越高表示程度越大，如与用户输入内容对比其更准确达意、改写程度变动更大。审核结果有四种：合格、语义增加、语义篡改、改写不足。
四者标准为：
合格：要求1：GPT改写后的文本包含了用户输入文本的意思，同时表达更加具体或更富有情感。要求2：新增了一些为了增强情感表达的内容，描述自身情感体会，或增强情感的语气词如喵喵叫等表示。要求3：要求没有增加额外的不相干的动作/行为，要求4：且改写程度较高。
改写不足：要求1：只是在用户输入文本的基础上倒换顺序、或只是简单增加语气词、符号。
语义增加：要求1：完整传达了用户输入文本的意思，不能篡改用户的意思！！。要求2：新增的部分与原始意思完全无关或者关联较弱。
语义篡改：要求1：GPT改写的内容与用户输入的文本的意思有误。要求2：不能完整表达用户原有的意思。
请你参考你对文本的审核过程，依据改写的内容和改写程度从：合格、语义篡改、改写不足、语义增加这四种结果中，确定一个做为你的审核结果。且当符合多个结果时，优先以用户内容原意符合度分析的结果为准，除此外四个结果按优先级依次递减：语义篡改、改写不足、语义增加、合格。你需要在最后一行输出最高优先级的审核结果。
下面是审核过程中要注意的点，下面这六种情况是符合合格里面合理新增的部分的条件的，不是语义增加：
注意点1：GPT改写后的文本相对用户输入文本，增加了礼貌、关心、友好、可爱的元素/表达方式用于增强情感表达的内容。这种是合格的
注意点2：GPT改写后的文本相对用户输入文本，为了增强情感有一定改动是合格的！
注意点3：GPT改写后的文本相对用户输入文本，注意语言色彩要一致，陈述句不能改疑问句。两者文本内主谓宾各个人称要对应，
注意点4：改写后的文本在保持原始内容的基础上，增加了用户情感体验的描述，如安心したよ’使得改写后的文本更富有情感和可爱。这是合格的，不是语义增加，不合格
注意点5：改写后的文本在保持原始内容的基础上，增加了可爱的表达方式，如’わよ’、'じゃん！这样的语气词使得文本更加生动有趣等是合格的
下面是审核过程中判定语义篡改要注意的点：
注意点1：用户输入文本和GPT改写后的文本的主谓宾有差异，如：無視すんな 改写后：やぁ 見てないよぉ。主语从你，变为我.どこにいる？ 改后あれ？あの人はどこだろう？ 主语从你变为那个人，这就是语义篡改
注意点2：情感色彩发生较大变化
下面是审核过程中判定语义增加要注意的点：
注意点1：GPT改写后新增的部分与用户原意没有直接关联，都属于语义增加，如トイレ行きたい，改为もーお腹すいてるってば！早くトイレ行かなきゃっc，增加的’お腹すいてるってば没有直接关联，这种就是语义增加
模版输入：用户输入：文本  GPT改写结果：GPT改写后的文本。模版输出：{"UserText_Cn":"翻译成中文后的用户文本","GPTWriteText_Cn":"翻译成中文后的GPT改写后的文本","Explain":"将具体的审核中对两个维度的打分以及判断过程、原因用流畅的中文表达出来","Result":"最终的审核结果"}
下面是你要处理的用户输入和GPT改写后的文本：
"用户输入：了解しました。 GPT改写后:うん 了解ですにゃん ,其中用户输入文本和GPT生成文本翻译成连贯流畅的中文分别为 用户：我了解了。 、GPT：嗯，我了解了，喵。。二者的编辑距离为4小于等于阈值4,所以，最终的审核结果为'改写不足'，
文本A：申し訳ない GPT改写后的文本B:すみません ごめんなさい 下面是从gpt4角度出发的解释:首先，我仔细阅读了文本A和GPT改写后的文本B，理解其含义和语境。文
"""
tokens=encoding.encode(text)
# [83, 1609, 5963, 374, 2294, 0]
print(len(tokens))