tiktoken做lazyload处理

request_llm/bridge_chatglm.py

@@ -5,6 +5,8 @@ import importlib
 from toolbox import update_ui, get_conf
 from multiprocessing import Process, Pipe
 
+load_message = "ChatGLM尚未加载，加载需要一段时间。注意，取决于`config.py`的配置，ChatGLM消耗大量的内存（CPU）或显存（GPU），也许会导致低配计算机卡死 ……"
+
 #################################################################################
 class GetGLMHandle(Process):
     def __init__(self):
@@ -12,13 +14,26 @@ class GetGLMHandle(Process):
         self.parent, self.child = Pipe()
         self.chatglm_model = None
         self.chatglm_tokenizer = None
+        self.info = ""
+        self.success = True
+        self.check_dependency()
         self.start()
-        print('初始化')
         
+    def check_dependency(self):
+        try:
+            import sentencepiece
+            self.info = "依赖检测通过"
+            self.success = True
+        except:
+            self.info = "缺少ChatGLM的依赖，如果要使用ChatGLM，除了基础的pip依赖以外，您还需要运行`pip install -r request_llm/requirements_chatglm.txt`安装ChatGLM的依赖。"
+            self.success = False
+
     def ready(self):
         return self.chatglm_model is not None
 
     def run(self):
+        # 第一次运行，加载参数
+        retry = 0
         while True:
             try:
                 if self.chatglm_model is None:
@@ -33,7 +48,12 @@ class GetGLMHandle(Process):
                 else:
                     break
             except:
-                pass
+                retry += 1
+                if retry > 3: 
+                    self.child.send('[Local Message] Call ChatGLM fail 不能正常加载ChatGLM的参数。')
+                    raise RuntimeError("不能正常加载ChatGLM的参数！")
+
+        # 进入任务等待状态
         while True:
             kwargs = self.child.recv()
             try:
@@ -64,7 +84,11 @@ def predict_no_ui_long_connection(inputs, llm_kwargs, history=[], sys_prompt="",
     global glm_handle
     if glm_handle is None:
         glm_handle = GetGLMHandle()
-        observe_window[0] = "ChatGLM尚未加载，加载需要一段时间。注意，取决于`config.py`的配置，ChatGLM消耗大量的内存（CPU）或显存（GPU），也许会导致低配计算机卡死 ……"
+        observe_window[0] = load_message + "\n\n" + glm_handle.info
+        if not glm_handle.success: 
+            error = glm_handle.info
+            glm_handle = None
+            raise RuntimeError(error)
 
     # chatglm 没有 sys_prompt 接口，因此把prompt加入 history
     history_feedin = []
@@ -93,8 +117,11 @@ def predict(inputs, llm_kwargs, plugin_kwargs, chatbot, history=[], system_promp
     global glm_handle
     if glm_handle is None:
         glm_handle = GetGLMHandle()
-        chatbot[-1] = (inputs, "ChatGLM尚未加载，加载需要一段时间。注意，取决于`config.py`的配置，ChatGLM消耗大量的内存（CPU）或显存（GPU），也许会导致低配计算机卡死 ……")
+        chatbot[-1] = (inputs, load_message + "\n\n" + glm_handle.info)
         yield from update_ui(chatbot=chatbot, history=[])
+        if not glm_handle.success: 
+            glm_handle = None
+            return
 
     if additional_fn is not None:
         import core_functional