文件
gpt_academic/request_llms
binary-husky 8042750d41 Master 4.0 (#2210)
* stage academic conversation

* stage document conversation

* fix buggy gradio version

* file dynamic load

* merge more academic plugins

* accelerate nltk

* feat: 为predict函数添加文件和URL读取功能
- 添加URL检测和网页内容提取功能,支持自动提取网页文本
- 添加文件路径识别和文件内容读取功能,支持private_upload路径格式
- 集成WebTextExtractor处理网页内容提取
- 集成TextContentLoader处理本地文件读取
- 支持文件路径与问题组合的智能处理

* back

* block unstable

---------

Co-authored-by: XiaoBoAI <liuboyin2019@ia.ac.cn>
2025-08-23 15:59:22 +08:00
..
2025-08-23 15:59:22 +08:00
2025-08-23 15:59:22 +08:00
2025-02-09 19:33:02 +08:00
2024-03-11 17:26:09 +08:00
2024-09-15 15:51:51 +00:00
2024-10-05 17:09:18 +08:00
2024-10-05 17:09:18 +08:00
2024-01-13 18:04:09 +08:00
2024-03-11 17:26:09 +08:00
2023-12-31 19:30:32 +08:00
2023-10-28 17:44:17 +08:00

P.S. 如果您按照以下步骤成功接入了新的大模型,欢迎发Pull Requests如果您在自己接入新模型的过程中遇到困难,欢迎加README底部QQ群联系群主

如何接入其他本地大语言模型

  1. 复制request_llms/bridge_llama2.py,重命名为你喜欢的名字

  2. 修改load_model_and_tokenizer方法,加载你的模型和分词器去该模型官网找demo,复制粘贴即可

  3. 修改llm_stream_generator方法,定义推理模型去该模型官网找demo,复制粘贴即可

  4. 命令行测试

    • 修改tests/test_llms.py(聪慧如您,只需要看一眼该文件就明白怎么修改了)
    • 运行python tests/test_llms.py
  5. 测试通过后,在request_llms/bridge_all.py中做最后的修改,把你的模型完全接入到框架中(聪慧如您,只需要看一眼该文件就明白怎么修改了)

  6. 修改LLM_MODEL配置,然后运行python main.py,测试最后的效果

如何接入其他在线大语言模型

  1. 复制request_llms/bridge_zhipu.py,重命名为你喜欢的名字

  2. 修改predict_no_ui_long_connection

  3. 修改predict

  4. 命令行测试

    • 修改tests/test_llms.py(聪慧如您,只需要看一眼该文件就明白怎么修改了)
    • 运行python tests/test_llms.py
  5. 测试通过后,在request_llms/bridge_all.py中做最后的修改,把你的模型完全接入到框架中(聪慧如您,只需要看一眼该文件就明白怎么修改了)

  6. 修改LLM_MODEL配置,然后运行python main.py,测试最后的效果