+
-
+
@@ -164,13 +163,13 @@ bash ./scripts/infer-literature-multi.sh
- +目前，我们只开放针对"肝癌"单个疾病训练的模型参数。在未来，我们计划发布融入文献结论的医学对话数据集，并且会针对“肝胆胰”相关16种疾病训练模型。 ### Finetune -如果想用自己的数据集微调LLaMA，请按照`./data/llama_data.json`的格式构建自己的数据集 +如果想用自己的数据集微调大语言模型，请按照`./data/llama_data.json`中的格式构建自己的数据集 运行finetune脚本 @@ -186,11 +185,10 @@ bash ./scripts/finetune.sh ## 训练细节 -### 计算资源需求 +### 计算资源需求参考 -我们在一张A100-SXM-80GB显卡上进行了训练，训练总轮次10轮，耗时约2h17m。batch_size=128的情况下显存占用在40G左右。预计3090/4090显卡(24GB显存)以上显卡可以较好支持，根据显存大小来调整batch_size。 +基于LLaMA模型的指令微调过程中，我们在一张A100-SXM-80GB显卡上进行了训练，训练总轮次10轮，耗时约2h17m。batch_size=128的情况下显存占用在40G左右。预计3090/4090显卡(24GB显存)以上显卡可以较好支持，根据显存大小来调整batch_size。 - ### 实验过程 @@ -202,6 +200,7 @@ https://wandb.ai/thinksoso/llama_med/runs/a5wgcnzt/overview?workspace=user-think ## 模型效果对比 +注：测试于2023年3月 | 测试输入 | Llama输出 | Alpaca输出 | BenTsao本草输出 | |:------------- |:---------------| :-------------|:--------------------------------------------------------| @@ -224,12 +223,19 @@ https://wandb.ai/thinksoso/llama_med/runs/a5wgcnzt/overview?workspace=user-think 3. Q: 有使用中医理论或者中医数据吗？ A: 目前还没有 + 4. Q: 模型运行的结果不同、效果有限 - A: 由于生成模型生成多样性的考量，多次运行的结果可能会有差异。当前开源的模型由于LLaMA及Alpaca中文语料有限，且知识结合的方式较为粗糙，目前我们在进行相关改进研究，完成后欢迎大家的关注。 + A: 由于生成模型生成多样性的考量，多次运行的结果可能会有差异。当前开源的模型由于LLaMA及Alpaca中文语料有限，且知识结合的方式较为粗糙，请大家尝试bloom-based和活字-based的模型。 + 5. Q: 模型无法运行/推理内容完全无法接受 - A: 请确定已安装requirements中的依赖、配置好cuda环境并添加环境变量、正确输入下载好的模型以及lora的存储位置；推理内容如存在重复生成或部分错误内容属于llama-based模型的偶发现象，与llama模型的中文能力、训练数据规模以及超参设置均有一定的关系，未来我们会不断迭代缓解此问题。如存在严重问题，请将运行的文件名、模型名、lora等配置信息详细描述在issue中，谢谢大家。 + A: 请确定已安装requirements中的依赖、配置好cuda环境并添加环境变量、正确输入下载好的模型以及lora的存储位置；推理内容如存在重复生成或部分错误内容属于llama-based模型的偶发现象，与llama模型的中文能力、训练数据规模以及超参设置均有一定的关系，请尝试基于活字的新模型。如存在严重问题，请将运行的文件名、模型名、lora等配置信息详细描述在issue中，谢谢大家。 + +6. Q: 发布的若干模型哪个最好？ + + A: 根据我们的经验，基于活字模型的效果相对更好一些。 + @@ -237,10 +243,6 @@ https://wandb.ai/thinksoso/llama_med/runs/a5wgcnzt/overview?workspace=user-think 本项目由哈尔滨工业大学社会计算与信息检索研究中心健康智能组[王昊淳](https://github.com/s65b40) 、[杜晏睿](https://github.com/DYR1)、[刘驰](https://github.com/thinksoso)、[白睿](https://github.com/RuiBai1999)、[席奴瓦](https://github.com/rootnx)、[陈雨晗](https://github.com/Imsovegetable)、[强泽文](https://github.com/1278882181)、[陈健宇](https://github.com/JianyuChen01)、[李子健](https://github.com/FlowolfzzZ)完成，指导教师为[赵森栋](http://homepage.hit.edu.cn/stanzhao?lang=zh)副教授，秦兵教授以及刘挺教授。 -## Star History -[](https://star-history.com/#SCIR-HI/Huatuo-Llama-Med-Chinese&Date) - - ## 致谢 @@ -250,7 +252,6 @@ https://wandb.ai/thinksoso/llama_med/runs/a5wgcnzt/overview?workspace=user-think 本项目参考了以下开源项目，在此对相关项目和研究开发人员表示感谢。 - - Facebook LLaMA: https://github.com/facebookresearch/llama - Stanford Alpaca: https://github.com/tatsu-lab/stanford_alpaca - alpaca-lora by @tloen: https://github.com/tloen/alpaca-lora diff --git a/assets/logo_new.png b/assets/logo_new.png new file mode 100644 index 0000000..f209aa2 Binary files /dev/null and b/assets/logo_new.png differ diff --git a/finetune.py b/finetune.py index 768c2c4..0348503 100644 --- a/finetune.py +++ b/finetune.py @@ -21,7 +21,7 @@ from peft import ( prepare_model_for_int8_training, set_peft_model_state_dict, ) -from transformers import LlamaForCausalLM, LlamaTokenizer +from transformers import AutoModelForCausalLM, AutoTokenizer from utils.prompter import Prompter @@ -111,14 +111,14 @@ def train( if len(wandb_log_model) > 0: os.environ["WANDB_LOG_MODEL"] = wandb_log_model - model = LlamaForCausalLM.from_pretrained( + model = AutoModelForCausalLM.from_pretrained( base_model, load_in_8bit=True, torch_dtype=torch.float16, device_map=device_map, ) - tokenizer = LlamaTokenizer.from_pretrained(base_model) + tokenizer = AutoTokenizer.from_pretrained(base_model) tokenizer.pad_token_id = ( 0 # unk. we want this to be different from the eos token diff --git a/generate.py b/generate.py index 7bb9957..c7b2a86 100644 --- a/generate.py +++ b/generate.py @@ -5,7 +5,7 @@ import gradio as gr import torch import transformers from peft import PeftModel -from transformers import GenerationConfig, LlamaForCausalLM, LlamaTokenizer +from transformers import GenerationConfig, AutoModelForCausalLM, AutoTokenizer from utils.prompter import Prompter @@ -34,9 +34,9 @@ def main( ), "Please specify a --base_model, e.g. --base_model='decapoda-research/llama-7b-hf'" prompter = Prompter(prompt_template) - tokenizer = LlamaTokenizer.from_pretrained(base_model) + tokenizer = AutoTokenizer.from_pretrained(base_model) if device == "cuda": - model = LlamaForCausalLM.from_pretrained( + model = AutoModelForCausalLM.from_pretrained( base_model, load_in_8bit=load_8bit, torch_dtype=torch.float16, @@ -48,7 +48,7 @@ def main( torch_dtype=torch.float16, ) elif device == "mps": - model = LlamaForCausalLM.from_pretrained( + model = AutoModelForCausalLM.from_pretrained( base_model, device_map={"": device}, torch_dtype=torch.float16, @@ -60,7 +60,7 @@ def main( torch_dtype=torch.float16, ) else: - model = LlamaForCausalLM.from_pretrained( + model = AutoModelForCausalLM.from_pretrained( base_model, device_map={"": device}, low_cpu_mem_usage=True ) model = PeftModel.from_pretrained( @@ -144,8 +144,8 @@ def main( label="Output", ) ], - title="🦙🌲 Alpaca-LoRA", - description="Alpaca-LoRA is a 7B-parameter LLaMA model finetuned to follow instructions. It is trained on the [Stanford Alpaca](https://github.com/tatsu-lab/stanford_alpaca) dataset and makes use of the Huggingface LLaMA implementation. For more information, please visit [the project's website](https://github.com/tloen/alpaca-lora).", # noqa: E501 + title="BenTsao", + description="", # noqa: E501 ).launch(server_name=server_name, share=share_gradio) # Old testing code follows. diff --git a/infer.py b/infer.py index 0f2ff21..31b6dbc 100644 --- a/infer.py +++ b/infer.py @@ -1,12 +1,11 @@ import sys import json - import fire import gradio as gr import torch import transformers from peft import PeftModel -from transformers import GenerationConfig, LlamaForCausalLM, LlamaTokenizer +from transformers import GenerationConfig, AutoModelForCausalLM, AutoTokenizer from utils.prompter import Prompter @@ -35,8 +34,8 @@ def main( prompt_template: str = "med_template", ): prompter = Prompter(prompt_template) - tokenizer = LlamaTokenizer.from_pretrained(base_model) - model = LlamaForCausalLM.from_pretrained( + tokenizer = AutoTokenizer.from_pretrained(base_model) + model = AutoModelForCausalLM.from_pretrained( base_model, load_in_8bit=load_8bit, torch_dtype=torch.float16, diff --git a/infer_literature.py b/infer_literature.py index 032dfe0..95d1056 100644 --- a/infer_literature.py +++ b/infer_literature.py @@ -6,7 +6,7 @@ import gradio as gr import torch import transformers from peft import PeftModel -from transformers import GenerationConfig, LlamaForCausalLM, LlamaTokenizer +from transformers import GenerationConfig, AutoModelForCausalLM, AutoTokenizer from utils.prompter import Prompter @@ -35,8 +35,8 @@ def main( prompt_template: str = "med_template", ): prompter = Prompter(prompt_template) - tokenizer = LlamaTokenizer.from_pretrained(base_model) - model = LlamaForCausalLM.from_pretrained( + tokenizer = AutoTokenizer.from_pretrained(base_model) + model = AutoModelForCausalLM.from_pretrained( base_model, load_in_8bit=load_8bit, torch_dtype=torch.float16, @@ -94,7 +94,6 @@ def main( return prompter.get_response(output) if single_or_multi == "multi": - response="" instruction="" for _ in range(0,5):