更多模型切换

2025-12-07 15:06:48 +00:00 · 2023-04-17 21:23:03 +08:00
--- a/request_llm/bridge_all.py
+++ b/request_llm/bridge_all.py
@@ -21,38 +21,42 @@ from .bridge_chatglm import predict as chatglm_ui
 from .bridge_tgui import predict_no_ui_long_connection as tgui_noui
 from .bridge_tgui import predict as tgui_ui

-methods = {
-    "openai-no-ui": chatgpt_noui,
-    "openai-ui": chatgpt_ui,
-
-    "chatglm-no-ui": chatglm_noui,
-    "chatglm-ui": chatglm_ui,
-
-    "tgui-no-ui": tgui_noui,
-    "tgui-ui": tgui_ui,
-}
+colors = ['#FF00FF', '#00FFFF', '#FF0000', '#990099', '#009999', '#990044']

 model_info = {
    # openai
    "gpt-3.5-turbo": {
+        "fn_with_ui": chatgpt_ui,
+        "fn_without_ui": chatgpt_noui,
+        "endpoint": "https://api.openai.com/v1/chat/completions",
        "max_token": 4096,
        "tokenizer": tiktoken.encoding_for_model("gpt-3.5-turbo"),
        "token_cnt": lambda txt: len(tiktoken.encoding_for_model("gpt-3.5-turbo").encode(txt, disallowed_special=())),
    },

    "gpt-4": {
+        "fn_with_ui": chatgpt_ui,
+        "fn_without_ui": chatgpt_noui,
+        "endpoint": "https://api.openai.com/v1/chat/completions",
        "max_token": 4096,
        "tokenizer": tiktoken.encoding_for_model("gpt-4"),
        "token_cnt": lambda txt: len(tiktoken.encoding_for_model("gpt-4").encode(txt, disallowed_special=())),
    },
+
    # api_2d
-    "gpt-3.5-turbo-api2d": {
+    "api2d-gpt-3.5-turbo": {
+        "fn_with_ui": chatgpt_ui,
+        "fn_without_ui": chatgpt_noui,
+        "endpoint": "https://openai.api2d.net/v1/chat/completions",
        "max_token": 4096,
        "tokenizer": tiktoken.encoding_for_model("gpt-3.5-turbo"),
        "token_cnt": lambda txt: len(tiktoken.encoding_for_model("gpt-3.5-turbo").encode(txt, disallowed_special=())),
    },

-    "gpt-4-api2d": {
+    "api2d-gpt-4": {
+        "fn_with_ui": chatgpt_ui,
+        "fn_without_ui": chatgpt_noui,
+        "endpoint": "https://openai.api2d.net/v1/chat/completions",
        "max_token": 4096,
        "tokenizer": tiktoken.encoding_for_model("gpt-4"),
        "token_cnt": lambda txt: len(tiktoken.encoding_for_model("gpt-4").encode(txt, disallowed_special=())),
@@ -60,18 +64,20 @@ model_info = {

    # chatglm
    "chatglm": {
+        "fn_with_ui": chatglm_ui,
+        "fn_without_ui": chatglm_noui,
+        "endpoint": None,
        "max_token": 1024,
        "tokenizer": tiktoken.encoding_for_model("gpt-3.5-turbo"),
        "token_cnt": lambda txt: len(tiktoken.encoding_for_model("gpt-3.5-turbo").encode(txt, disallowed_special=())),
    },

-
 }


 def LLM_CATCH_EXCEPTION(f):
    """
-        装饰器函数，将错误显示出来
+    装饰器函数，将错误显示出来
    """
    def decorated(inputs, llm_kwargs, history, sys_prompt, observe_window, console_slience):
        try:
@@ -85,21 +91,20 @@ def LLM_CATCH_EXCEPTION(f):
            return tb_str
    return decorated

-colors = ['#FF00FF', '#00FFFF', '#FF0000', '#990099', '#009999', '#990044']

 def predict_no_ui_long_connection(inputs, llm_kwargs, history, sys_prompt, observe_window, console_slience=False):
    """
-        发送至LLM，等待回复，一次性完成，不显示中间过程。但内部用stream的方法避免中途网线被掐。
-        inputs：
-            是本次问询的输入
-        sys_prompt:
-            系统静默prompt
-        llm_kwargs：
-            LLM的内部调优参数
-        history：
-            是之前的对话列表
-        observe_window = None：
-            用于负责跨越线程传递已经输出的部分，大部分时候仅仅为了fancy的视觉效果，留空即可。observe_window[0]：观测窗。observe_window[1]：看门狗
+    发送至LLM，等待回复，一次性完成，不显示中间过程。但内部用stream的方法避免中途网线被掐。
+    inputs：
+        是本次问询的输入
+    sys_prompt:
+        系统静默prompt
+    llm_kwargs：
+        LLM的内部调优参数
+    history：
+        是之前的对话列表
+    observe_window = None：
+        用于负责跨越线程传递已经输出的部分，大部分时候仅仅为了fancy的视觉效果，留空即可。observe_window[0]：观测窗。observe_window[1]：看门狗
    """
    import threading, time, copy

@@ -109,12 +114,7 @@ def predict_no_ui_long_connection(inputs, llm_kwargs, history, sys_prompt, obser
        assert not model.startswith("tgui"), "TGUI不支持函数插件的实现"

        # 如果只询问1个大语言模型：
-        if model.startswith('gpt'):
-            method = methods['openai-no-ui']
-        elif model == 'chatglm':
-            method = methods['chatglm-no-ui']
-        elif model.startswith('tgui'):
-            method = methods['tgui-no-ui']
+        method = model_info[model]["fn_without_ui"]
        return method(inputs, llm_kwargs, history, sys_prompt, observe_window, console_slience)
    else:
        # 如果同时询问多个大语言模型：
@@ -129,12 +129,7 @@ def predict_no_ui_long_connection(inputs, llm_kwargs, history, sys_prompt, obser
        futures = []
        for i in range(n_model):
            model = models[i]
-            if model.startswith('gpt'):
-                method = methods['openai-no-ui']
-            elif model == 'chatglm':
-                method = methods['chatglm-no-ui']
-            elif model.startswith('tgui'):
-                method = methods['tgui-no-ui']
+            method = model_info[model]["fn_without_ui"]
            llm_kwargs_feedin = copy.deepcopy(llm_kwargs)
            llm_kwargs_feedin['llm_model'] = model
            future = executor.submit(LLM_CATCH_EXCEPTION(method), inputs, llm_kwargs_feedin, history, sys_prompt, window_mutex[i], console_slience)
@@ -176,20 +171,15 @@ def predict_no_ui_long_connection(inputs, llm_kwargs, history, sys_prompt, obser

 def predict(inputs, llm_kwargs, *args, **kwargs):
    """
-        发送至LLM，流式获取输出。
-        用于基础的对话功能。
-        inputs 是本次问询的输入
-        top_p, temperature是LLM的内部调优参数
-        history 是之前的对话列表（注意无论是inputs还是history，内容太长了都会触发token数量溢出的错误）
-        chatbot 为WebUI中显示的对话列表，修改它，然后yeild出去，可以直接修改对话界面内容
-        additional_fn代表点击的哪个按钮，按钮见functional.py
+    发送至LLM，流式获取输出。
+    用于基础的对话功能。
+    inputs 是本次问询的输入
+    top_p, temperature是LLM的内部调优参数
+    history 是之前的对话列表（注意无论是inputs还是history，内容太长了都会触发token数量溢出的错误）
+    chatbot 为WebUI中显示的对话列表，修改它，然后yeild出去，可以直接修改对话界面内容
+    additional_fn代表点击的哪个按钮，按钮见functional.py
    """
-    if llm_kwargs['llm_model'].startswith('gpt'):
-        method = methods['openai-ui']
-    elif llm_kwargs['llm_model'] == 'chatglm':
-        method = methods['chatglm-ui']
-    elif llm_kwargs['llm_model'].startswith('tgui'):
-        method = methods['tgui-ui']

+    method = model_info[llm_kwargs['llm_model']]["fn_with_ui"]
    yield from method(inputs, llm_kwargs, *args, **kwargs)

--- a/request_llm/bridge_chatgpt.py
+++ b/request_llm/bridge_chatgpt.py
@@ -21,9 +21,9 @@ import importlib

 # config_private.py放自己的秘密如API和代理网址
 # 读取时首先看是否存在私密的config_private配置文件（不受git管控），如果有，则覆盖原config文件
-from toolbox import get_conf, update_ui
-proxies, API_URL, API_KEY, TIMEOUT_SECONDS, MAX_RETRY = \
-    get_conf('proxies', 'API_URL', 'API_KEY', 'TIMEOUT_SECONDS', 'MAX_RETRY')
+from toolbox import get_conf, update_ui, is_any_api_key, select_api_key
+proxies, API_KEY, TIMEOUT_SECONDS, MAX_RETRY = \
+    get_conf('proxies', 'API_KEY', 'TIMEOUT_SECONDS', 'MAX_RETRY')

 timeout_bot_msg = '[Local Message] Request timeout. Network error. Please check proxy settings in config.py.' + \
                  '网络错误，检查代理服务器是否可用，以及代理设置的格式是否正确，格式须是[协议]://[地址]:[端口]，缺一不可。'
@@ -60,7 +60,7 @@ def predict_no_ui_long_connection(inputs, llm_kwargs, history=[], sys_prompt="",
    while True:
        try:
            # make a POST request to the API endpoint, stream=False
-            response = requests.post(API_URL, headers=headers, proxies=proxies,
+            response = requests.post(llm_kwargs['endpoint'], headers=headers, proxies=proxies,
                                    json=payload, stream=True, timeout=TIMEOUT_SECONDS); break
        except requests.exceptions.ReadTimeout as e:
            retry += 1
@@ -113,14 +113,14 @@ def predict(inputs, llm_kwargs, plugin_kwargs, chatbot, history=[], system_promp
        chatbot 为WebUI中显示的对话列表，修改它，然后yeild出去，可以直接修改对话界面内容
        additional_fn代表点击的哪个按钮，按钮见functional.py
    """
-    if inputs.startswith('sk-') and len(inputs) == 51:
+    if is_any_api_key(inputs):
        chatbot._cookies['api_key'] = inputs
        chatbot.append(("输入已识别为openai的api_key", "api_key已导入"))
        yield from update_ui(chatbot=chatbot, history=history, msg="api_key已导入") # 刷新界面
        return
-    elif len(chatbot._cookies['api_key']) != 51:
+    elif not is_any_api_key(chatbot._cookies['api_key']):
        chatbot.append((inputs, "缺少api_key。\n\n1. 临时解决方案：直接在输入区键入api_key，然后回车提交。\n\n2. 长效解决方案：在config.py中配置。"))
-        yield from update_ui(chatbot=chatbot, history=history, msg="api_key已导入") # 刷新界面
+        yield from update_ui(chatbot=chatbot, history=history, msg="缺少api_key") # 刷新界面
        return

    if additional_fn is not None:
@@ -143,7 +143,7 @@ def predict(inputs, llm_kwargs, plugin_kwargs, chatbot, history=[], system_promp
    while True:
        try:
            # make a POST request to the API endpoint, stream=True
-            response = requests.post(API_URL, headers=headers, proxies=proxies,
+            response = requests.post(llm_kwargs['endpoint'], headers=headers, proxies=proxies,
                                    json=payload, stream=True, timeout=TIMEOUT_SECONDS);break
        except:
            retry += 1
@@ -202,12 +202,14 @@ def generate_payload(inputs, llm_kwargs, history, system_prompt, stream):
    """
        整合所有信息，选择LLM模型，生成http请求，为发送请求做准备
    """
-    if len(llm_kwargs['api_key']) != 51:
+    if not is_any_api_key(llm_kwargs['api_key']):
        raise AssertionError("你提供了错误的API_KEY。\n\n1. 临时解决方案：直接在输入区键入api_key，然后回车提交。\n\n2. 长效解决方案：在config.py中配置。")

+    api_key = select_api_key(llm_kwargs['api_key'], llm_kwargs['llm_model'])
+
    headers = {
        "Content-Type": "application/json",
-        "Authorization": f"Bearer {llm_kwargs['api_key']}"
+        "Authorization": f"Bearer {api_key}"
    }

    conversation_cnt = len(history) // 2
@@ -235,7 +237,7 @@ def generate_payload(inputs, llm_kwargs, history, system_prompt, stream):
    messages.append(what_i_ask_now)

    payload = {
-        "model": llm_kwargs['llm_model'],
+        "model": llm_kwargs['llm_model'].strip('api2d-'),
        "messages": messages, 
        "temperature": llm_kwargs['temperature'],  # 1.0,
        "top_p": llm_kwargs['top_p'],  # 1.0,