diff --git a/README.md b/README.md index 030141a..cd50368 100644 --- a/README.md +++ b/README.md @@ -207,8 +207,21 @@ bash ./scripts/finetune.sh ``` + - +### 知识微调 + +上述介绍了我们如何利用医学知识构造高质量问答对的过程,即从“knowledge”到“(question, answer)”,在此基础上,我们提出了知识微调,旨在让大语言模型在推理时显式利用知识库中的知识,使大模型学会从“question”到“knowledge”,过程可分为以下三阶段,其过程如下图所示。第一阶段:根据问题填充知识检索的参数,包括中心词和属性。第二阶段:查询获取带有填充参数所对应的知识。第三阶段:使用获得的知识来生成回答。[样例数据链接](data/knowledge_tuning_data_sample.txt) +
+ +相关细节可参考我们的文章:[《基于知识微调的大语言模型可靠中文医学回复生成方法》](https://dl.acm.org/doi/abs/10.1145/3686807) + + + ## 训练细节 @@ -270,7 +283,7 @@ https://wandb.ai/thinksoso/llama_med/runs/a5wgcnzt/overview?workspace=user-think ## 项目参与者 -本项目由哈尔滨工业大学社会计算与信息检索研究中心健康智能组[王昊淳](https://haochun.wang) 、[杜晏睿](https://github.com/DYR1)、[刘驰](https://github.com/thinksoso)、[白睿](https://github.com/RuiBai1999)、[席奴瓦](https://github.com/rootnx)、[陈雨晗](https://github.com/Imsovegetable)、[强泽文](https://github.com/1278882181)、[陈健宇](https://github.com/JianyuChen01)、[李子健](https://github.com/FlowolfzzZ)完成,指导教师为[赵森栋](http://homepage.hit.edu.cn/stanzhao?lang=zh)副教授,秦兵教授以及刘挺教授。 +本项目由哈尔滨工业大学社会计算与信息检索研究中心健康智能组[王昊淳](https://haochun.wang) 、[杜晏睿](https://github.com/DYR1)、[刘驰](https://github.com/thinksoso)、[白睿](https://github.com/RuiBai1999)、[席奴瓦](https://github.com/rootnx)、[陈雨晗](https://github.com/Imsovegetable)、[强泽文](https://github.com/1278882181)、[陈健宇](https://github.com/JianyuChen01)、[李子健](https://github.com/FlowolfzzZ)、[范宇政](https://github.com/zheng-2001)完成,指导教师为[赵森栋](http://homepage.hit.edu.cn/stanzhao?lang=zh)副教授,秦兵教授以及刘挺教授。 diff --git a/assets/process_of_knowledge_tuning.png b/assets/process_of_knowledge_tuning.png new file mode 100644 index 0000000..22e3be1 Binary files /dev/null and b/assets/process_of_knowledge_tuning.png differ diff --git a/data/knowledge_tuning_data_sample.txt b/data/knowledge_tuning_data_sample.txt new file mode 100644 index 0000000..989017f --- /dev/null +++ b/data/knowledge_tuning_data_sample.txt @@ -0,0 +1,201 @@ +input +多发性大动脉炎要去哪个科室就诊? +请问地尔硫的用法用量是怎么样的? +双氯芬酸钠贴片有哪些副作用? +当存在哪些症状时需怀疑瘢痕性幽门梗阻? +味禾的主要成分是什么? +传染性单核细胞增多症怎样才算治愈? +米非司酮的用途是什么? +利巴韦林可以用于哪些疾病? +梅毒是如何传染的? +奥拉西坦的用法用量是怎样的? +胃食管反流病有什么症状? +复方胆通胶囊有哪些主要的成分? +使用尿素维e乳膏时可能出现哪些不良反应? +风疹会传染吗?是怎么传染的? +抽动障碍还会出现什么症状? +Gilbert综合征应该如何治疗? +更昔洛韦属于哪种药物分类? +肠息肉患者出现哪些症状需警惕? +三合钙咀嚼片的用途是什么? +21金维他属于哪个分类? +前列腺增生患者都有哪些症状? +尿崩症应该去哪个科室就诊? +哌拉西林他唑巴坦有哪些不良反应? +如何治疗流行性腮腺炎(痄腮)? +扑尔伪麻片主要成分是什么? +维铁缓释片属于哪个分类? +口角炎会传染吗? +得了腺垂体功能减退症会有哪些症状表现? +非霍奇金淋巴瘤的首发临床症状是什么? +氨酚那敏片维b1那敏片复合包装的剂量和使用时间是什么? +维拉帕米通常用于治疗哪些疾病? +优必达属于哪一类药品? +桂利嗪片的使用方法是什么?用量是多少? +阴茎癌一般去看哪个科? +如何治疗间质性肾炎? +成人口服坦洛新的用法用量是多少? +面肌痉挛有哪些治疗方法? +做了扁桃体和腺样体切割术之后会有后遗症吗? +高渗氯化钠羟乙基淀粉40注射液会引起哪些不良反应? +寻常疣会传染吗? +支原体感染有什么表现? +小儿膀胱结石患者常见的临床表现有哪些? +复方维生素u胶囊的用法用量是什么? +如何治疗宫颈妊娠? +温胃舒颗粒的用途是什么? +胎儿生长受限要去看哪个科? +茵栀黄颗粒的使用方法是什么? +复方苯佐卡因软膏的用法用量是什么? +手腕部肌腱血管神经手术治疗后,恢复一般需要多长时间? +丁细牙痛胶囊的用法用量是什么? +室性早搏怎么治疗? +念珠菌性龟头炎治疗后有没有后遗症? +铅中毒如何治疗? +尼可刹米有哪些不良反应? +咪唑斯汀的常见不良反应有哪些? +沙格雷酯有哪些不良反应? +冰毒、摇头丸急性中毒有哪些表现? +外阴炎有什么表现? +安谱诺欣有哪些注意事项? +三苯双脒主要用于哪些感染治疗? +眼睑痉挛有哪些表现? +盐酸氯丙那林片属于哪个分类? +地屈孕酮主要用途是什么? +低镁血症怎么治疗?要治疗多久? +风湿性关节炎怎么治疗?要治疗多久? +长期使用多力康应该注意哪些方面? +味禾属于哪一类药物? +为什么糜烂性胃炎的症状总是反复发生? +急性淋巴细胞性白血病有什么表现? +不同部位的脑出血症状都一样吗? +氨咖黄敏胶囊的注意事项有哪些? +硫酸长春碱有哪些用途? +老年性黄斑变性发生前有什么征兆? +如果怎么治疗? +吉法酯的使用方法和剂量是什么? +如何早期发现无症状性血尿或(和)蛋白尿? +血管瘤的药物治疗具体包括哪些?(以下问题只针对婴幼儿血管瘤,卡波西型血管内皮瘤另有治疗方法) +继发性三叉神经痛与原发性三叉神经痛的表现有什么不同? +复方氨酚烷胺片有哪些禁用人群? +脑萎缩怎么治疗? +酮洛酸可以用于哪些疾病的治疗? +人凝血因子Ⅶ用于治疗哪些疾病? +低镁血症一般去看哪个科? +滴虫性阴道炎会传染吗?是怎么传染的? +轻度急性荨麻疹有什么表现? +类风湿关节炎关节表现有哪些? +有头痛的病人该如何注意症状,更有利于医生诊断? +典型的自闭症主要有哪些表现? +扁平足要去看哪个科? +生殖器疱疹怎么治疗? +发育迟缓需要手术治疗吗? +胃癌有哪些常见的症状? +茵栀黄颗粒的注意事项是什么? +下肢静脉血栓哪些必须手术治疗? +盐酸舒托必利注射液有哪些不良反应? +使用可泰舒时,用法用量应该怎么样? +曲美布汀可能会引起哪些不良反应? +新生儿溶血应该怎么治疗? +得了肢端雀斑痣样黑素瘤会有些什么样的表现?指甲盖下出现黑点是怎么回事? +头孢丙烯对哪些疾病有治疗作用? +乳酸钙咀嚼片的使用方法是什么? +脊髓炎有哪些症状? +协达利可用于治疗哪些疾病? +多奈哌齐属于什么分类? +抑肽酶用于哪些病症?如何使用? +哪些人群不宜使用利巴韦林? +富马酸亚铁颗粒主要治疗哪些疾病? +肠息肉有哪些表现? +维生素d滴剂胶囊型属于哪一类药物? +胃下垂出现症状容易和哪些病混淆? +精原细胞瘤有什么表现? +脑卒中会留下哪些后遗症? +什么人群不适合使用桂利嗪片? +脑性瘫痪的症状有哪些? +荨麻疹有哪些症状? +如何避免在使用西曲溴铵后出现暂时性视线模糊? +念珠菌性龟头炎有哪些常见表现? +弘旭明属于哪一类药物? +跟骨骨折常见的症状、体征是什么? +滴虫性阴道炎一般去看哪个科? +哪些食管癌患者不能行手术治疗? +胆管结石有什么临床表现? +儿童单纯性肥胖的主要治疗方式都有哪些? +氨氯地平有哪些不良反应? +得了甲型病毒性肝炎会有些什么样的表现? +胃十二指肠溃疡穿孔应如何治疗? +轻度牙龈脓肿有什么表现? +肝癌会传染吗? +鼻中隔偏曲的症状有哪些? +海绵状血管瘤手术治疗后有没有后遗症? +抑郁症有哪些表现? +脾功能亢进应就诊于哪个科室? +梨状肌综合征怎么治疗? +稳定型心绞痛的典型症状是什么? +布洛芬特非那定伪麻黄碱属于哪个分类? +糖尿病性视网膜病变有什么症状? +慢性肾盂肾炎怎么治疗? +泰脂安胶囊的不良反应有哪些? +二尖瓣关闭不全如何治疗? +药物性痤疮怎么治疗? +扁平足有哪些常见表现? +水杨酸咪唑属于哪一类药物? +利拉萘酯乳膏属于哪些药物分类? +对乙酰氨基酚双氢可待因的不良反应多为哪些? +基多托是什么分类的药物? +骨髓增生异常综合征的首发症状是什么? +丙哌维林有哪些注意事项? +胸主动脉瘤有哪些常见表现? +奥洛他定的用法用量是什么? +甘精胰岛素的用法用量是什么? +白塞病如何治疗? +曲克芦丁氯化钠注射液的用法用量是什么? +黄连上清丸属于哪种药物分类? +乳酶生片适用于哪些人群?用法用量是怎么样的? +阿维a是哪些类型的疾病用药? +骨肉瘤的症状有哪些? +未足月的胎膜早破怎么治疗? +使用白云山会导致哪些不良反应? +新凝灵属于哪种药物分类? +水解蛋白注射液可否用于孕妇或哺乳期妇女? +肛裂患者应该去哪个科就诊? +乐佰欣需要饭前服用吗?有什么需要注意的事项吗? +人们在亚硝酸盐中毒时会有哪些表现? +阿苯达唑适用于哪些疾病?如何使用? +结肠炎怎么治疗? +丙酸氯倍他索软膏可以用于眼部吗? +怎么治疗腺样体肥大? +如何治疗大网膜炎? +登革热怎么治疗? +亨特氏综合征如何治疗? +硫酸长春碱属于哪一类药物? +血液滤过置换液属于哪些分类? +对乙酰氨基酚伪麻黄碱的不良反应有哪些? +典型面肌痉挛有什么表现? +氯雷他定伪麻黄碱属于哪个分类? +新生儿窒息有哪些表现? +布洛芬锌是什么药?有什么用途? +复方倍氯米松樟脑乳膏有哪些注意事项? +胆囊切除术后综合征一般去看哪个科? +ANCA相关性血管炎患者一般去看哪个科? +血脂异常有哪些表现和危害? +支气管炎有哪些治疗方法? +倾倒综合征会有哪些表现? +上睑下垂如何治疗? +甘草酸二铵有哪些用途? +学习障碍如何治疗? +维生素ec颗粒可能引发哪些不良反应? +什么是环乙米特?有哪些不良反应? +苯丙酮尿症会有后遗症吗? +拉贝洛尔的用法用量是什么? +念珠菌性龟头炎手术治疗后多久能恢复? +小牛血去蛋白提取物在治疗哪些疾病上有明显效果? +治疗什么疾病使用复方柳安咖注射液时常见哪些不良反应? +急性呼吸窘迫综合征治好后会有后遗症吗? +普罗帕酮属于哪一类药物? +产褥感染怎么治疗? +脑震荡后遗症病需要住院吗? +盐酸羟苄唑滴眼液属于哪一类药物? +可否使用醋酸氢化可的松眼膏对治疗青光眼? +醋酸曲安奈德硫酸新霉素麝香草酚属于哪个分类?