unify tiktoken model

这个提交包含在:
Your Name
2023-04-17 19:41:50 +08:00
父节点 40bc865d33
当前提交 2472185de9
共有 8 个文件被更改,包括 9 次插入9 次删除

查看文件

@@ -4,7 +4,7 @@ from toolbox import update_ui, get_conf
def input_clipping(inputs, history, max_token_limit):
import tiktoken
import numpy as np
enc = tiktoken.encoding_for_model(*get_conf('LLM_MODEL'))
enc = tiktoken.encoding_for_model("gpt-3.5-turbo")
def get_token_num(txt): return len(enc.encode(txt, disallowed_special=()))
mode = 'input-and-history'