int/gpt_academic
1
0
派生 0
镜像自地址 https://github.com/binary-husky/gpt_academic.git 已同步 2025-12-06 06:26:47 +00:00
代码 工单 软件包 项目 版本发布 百科 动态

internet GPT upgrade

浏览代码
这个提交包含在：
binary-husky
2024-06-16 14:10:38 +00:00
父节点 e6d1cb09cb
当前提交 f3660d669f
共有 4 个文件被更改，包括 110 次插入 和 49 次删除
下载 Patch 文件 下载 Diff 文件 展开所有文件 折叠所有文件

38
crazy_functions/Internet_GPT.py
查看文件

@@ -1,4 +1,4 @@
from toolbox import CatchException, update_ui
from toolbox import CatchException, update_ui, get_conf
from .crazy_utils import request_gpt_model_in_new_thread_with_ui_alive, input_clipping
import requests
from bs4 import BeautifulSoup
@@ -6,7 +6,6 @@ from request_llms.bridge_all import model_info
import urllib.request
from functools import lru_cache
@lru_cache
def get_auth_ip():
try:
@@ -15,12 +14,16 @@ def get_auth_ip():
except:
return '114.114.114.114'
def searxng_request(query, proxies):
url = 'https://cloud-1.agent-matrix.com/' # 请替换为实际的API URL
def searxng_request(query, proxies, categories='general', searxng_url=None):
if searxng_url is None:
url = get_conf("SEARXNG_URL")
else:
url = searxng_url
params = {
'q': query, # 搜索查询
'format': 'json', # 输出格式为JSON
'language': 'zh', # 搜索语言
'categories': categories
}
headers = {
'Accept-Language': 'zh-CN,zh;q=0.9',
@@ -41,7 +44,10 @@ def searxng_request(query, proxies):
results.append(item)
return results
else:
raise ValueError("搜索失败，状态码: " + str(response.status_code) + '\t' + response.content.decode('utf-8'))
if response.status_code == 429:
raise ValueError("Searxng（在线搜索服务）当前使用人数太多，请稍后。")
else:
raise ValueError("在线搜索失败，状态码: " + str(response.status_code) + '\t' + response.content.decode('utf-8'))
def scrape_text(url, proxies) -> str:
"""Scrape text from a webpage
@@ -72,29 +78,23 @@ def scrape_text(url, proxies) -> str:
@CatchException
def 连接网络回答问题(txt, llm_kwargs, plugin_kwargs, chatbot, history, system_prompt, user_request):
"""
txt 输入栏用户输入的文本，例如需要翻译的一段话，再例如一个包含了待处理文件的路径
llm_kwargs gpt模型参数，如温度和top_p等，一般原样传递下去就行
plugin_kwargs 插件模型的参数，暂时没有用武之地
chatbot 聊天显示框的句柄，用于显示给用户
history 聊天历史，前情提要
system_prompt 给gpt的静默提醒
user_request 当前用户的请求信息（IP地址等）
"""
history = [] # 清空历史，以免输入溢出
chatbot.append((f"请结合互联网信息回答以下问题：{txt}",
"[Local Message] 请注意，您正在调用一个[函数插件]的模板，该模板可以实现ChatGPT联网信息综合。该函数面向希望实现更多有趣功能的开发者，它可以作为创建新功能函数的模板。您若希望分享新的功能模组，请不吝PR！"))
yield from update_ui(chatbot=chatbot, history=history) # 刷新界面 # 由于请求gpt需要一段时间，我们先及时地做一次界面更新
yield from update_ui(chatbot=chatbot, history=history) # 刷新界面
# ------------- < 第1步：爬取搜索引擎的结果 > -------------
from toolbox import get_conf
proxies = get_conf('proxies')
urls = searxng_request(txt, proxies)
categories = plugin_kwargs.get('categories', 'general')
searxng_url = plugin_kwargs.get('searxng_url', None)
urls = searxng_request(txt, proxies, categories, searxng_url)
history = []
if len(urls) == 0:
chatbot.append((f"结论：{txt}",
"[Local Message] 受到google限制，无法从google获取信息！"))
yield from update_ui(chatbot=chatbot, history=history) # 刷新界面 # 由于请求gpt需要一段时间，我们先及时地做一次界面更新
yield from update_ui(chatbot=chatbot, history=history) # 刷新界面
return
# ------------- < 第2步：依次访问网页 > -------------
max_search_result = 5 # 最多收纳多少个网页的结果
@@ -102,14 +102,14 @@ def 连接网络回答问题(txt, llm_kwargs, plugin_kwargs, chatbot, history, s
res = scrape_text(url['link'], proxies)
history.extend([f"第{index}份搜索结果：", res])
chatbot.append([f"第{index}份搜索结果：", res[:500]+"......"])
yield from update_ui(chatbot=chatbot, history=history) # 刷新界面 # 由于请求gpt需要一段时间，我们先及时地做一次界面更新
yield from update_ui(chatbot=chatbot, history=history) # 刷新界面
# ------------- < 第3步：ChatGPT综合 > -------------
i_say = f"从以上搜索结果中抽取信息，然后回答问题：{txt}"
i_say, history = input_clipping( # 裁剪输入，从最长的条目开始裁剪，防止爆token
inputs=i_say,
history=history,
max_token_limit=model_info[llm_kwargs['llm_model']]['max_token']*3//4
max_token_limit=min(model_info[llm_kwargs['llm_model']]['max_token']*3//4, 8192)
)
gpt_say = yield from request_gpt_model_in_new_thread_with_ui_alive(
inputs=i_say, inputs_show_user=i_say,