Merge pull request #114 from zheng-2001/yzfan/kt

Add knowledge tuning description.

README.md

@@ -209,6 +209,19 @@ bash ./scripts/finetune.sh
   
 
   
+### 知识微调
+
+上述介绍了我们如何利用医学知识构造高质量问答对的过程，即从“knowledge”到“(question, answer)”，在此基础上，我们提出了知识微调，旨在让大语言模型在推理时显式利用知识库中的知识，使大模型学会从“question”到“knowledge”，过程可分为以下三阶段，其过程如下图所示。第一阶段：根据问题填充知识检索的参数，包括中心词和属性。第二阶段：查询获取带有填充参数所对应的知识。第三阶段：使用获得的知识来生成回答。[样例数据链接](data/knowledge_tuning_data_sample.txt)
+<p align="center" width="100%">
+
+<a href="https://github.com/SCIR-HI/Huatuo-Llama-Med-Chinese/" target="_blank"><img src="assets/process_of_knowledge_tuning.png" alt="SCIR-HI-HuaTuo-literature" style="width: 100%; min-width: 300px; display: block; margin: auto;"></a>
+
+</p>
+
+相关细节可参考我们的文章：[《基于知识微调的大语言模型可靠中文医学回复生成方法》](https://dl.acm.org/doi/abs/10.1145/3686807)  
+
+
+
 
 ## 训练细节
 
@@ -270,7 +283,7 @@ https://wandb.ai/thinksoso/llama_med/runs/a5wgcnzt/overview?workspace=user-think
 
 ## 项目参与者
 
-本项目由哈尔滨工业大学社会计算与信息检索研究中心健康智能组[王昊淳](https://haochun.wang) 、[杜晏睿](https://github.com/DYR1)、[刘驰](https://github.com/thinksoso)、[白睿](https://github.com/RuiBai1999)、[席奴瓦](https://github.com/rootnx)、[陈雨晗](https://github.com/Imsovegetable)、[强泽文](https://github.com/1278882181)、[陈健宇](https://github.com/JianyuChen01)、[李子健](https://github.com/FlowolfzzZ)完成，指导教师为[赵森栋](http://homepage.hit.edu.cn/stanzhao?lang=zh)副教授，秦兵教授以及刘挺教授。
+本项目由哈尔滨工业大学社会计算与信息检索研究中心健康智能组[王昊淳](https://haochun.wang) 、[杜晏睿](https://github.com/DYR1)、[刘驰](https://github.com/thinksoso)、[白睿](https://github.com/RuiBai1999)、[席奴瓦](https://github.com/rootnx)、[陈雨晗](https://github.com/Imsovegetable)、[强泽文](https://github.com/1278882181)、[陈健宇](https://github.com/JianyuChen01)、[李子健](https://github.com/FlowolfzzZ)、[范宇政](https://github.com/zheng-2001)完成，指导教师为[赵森栋](http://homepage.hit.edu.cn/stanzhao?lang=zh)副教授，秦兵教授以及刘挺教授。
 
   
 

data/knowledge_tuning_data_sample.txt

@@ -0,0 +1,201 @@
+input
+多发性大动脉炎要去哪个科室就诊？
+请问地尔硫的用法用量是怎么样的？
+双氯芬酸钠贴片有哪些副作用？
+当存在哪些症状时需怀疑瘢痕性幽门梗阻？  
+味禾的主要成分是什么？
+传染性单核细胞增多症怎样才算治愈？  
+米非司酮的用途是什么？
+利巴韦林可以用于哪些疾病？
+梅毒是如何传染的？  
+奥拉西坦的用法用量是怎样的？
+胃食管反流病有什么症状？  
+复方胆通胶囊有哪些主要的成分？
+使用尿素维e乳膏时可能出现哪些不良反应？
+风疹会传染吗？是怎么传染的？  
+抽动障碍还会出现什么症状？  
+Gilbert综合征应该如何治疗？ 
+更昔洛韦属于哪种药物分类？
+肠息肉患者出现哪些症状需警惕？  
+三合钙咀嚼片的用途是什么？
+21金维他属于哪个分类？
+前列腺增生患者都有哪些症状？  
+尿崩症应该去哪个科室就诊？
+哌拉西林他唑巴坦有哪些不良反应？
+如何治疗流行性腮腺炎（痄腮）？ 
+扑尔伪麻片主要成分是什么？
+维铁缓释片属于哪个分类？
+口角炎会传染吗？  
+得了腺垂体功能减退症会有哪些症状表现？  
+非霍奇金淋巴瘤的首发临床症状是什么？  
+氨酚那敏片维b1那敏片复合包装的剂量和使用时间是什么？
+维拉帕米通常用于治疗哪些疾病？
+优必达属于哪一类药品？
+桂利嗪片的使用方法是什么？用量是多少？
+阴茎癌一般去看哪个科？
+如何治疗间质性肾炎？ 
+成人口服坦洛新的用法用量是多少？
+面肌痉挛有哪些治疗方法？ 
+做了扁桃体和腺样体切割术之后会有后遗症吗？  
+高渗氯化钠羟乙基淀粉40注射液会引起哪些不良反应?
+寻常疣会传染吗？  
+支原体感染有什么表现？  
+小儿膀胱结石患者常见的临床表现有哪些？  
+复方维生素u胶囊的用法用量是什么？
+如何治疗宫颈妊娠？ 
+温胃舒颗粒的用途是什么？
+胎儿生长受限要去看哪个科？
+茵栀黄颗粒的使用方法是什么？
+复方苯佐卡因软膏的用法用量是什么？
+手腕部肌腱血管神经手术治疗后，恢复一般需要多长时间？ 
+丁细牙痛胶囊的用法用量是什么？
+室性早搏怎么治疗？ 
+念珠菌性龟头炎治疗后有没有后遗症？  
+铅中毒如何治疗？ 
+尼可刹米有哪些不良反应？
+咪唑斯汀的常见不良反应有哪些？
+沙格雷酯有哪些不良反应？
+冰毒、摇头丸急性中毒有哪些表现？  
+外阴炎有什么表现？  
+安谱诺欣有哪些注意事项？
+三苯双脒主要用于哪些感染治疗？
+眼睑痉挛有哪些表现？  
+盐酸氯丙那林片属于哪个分类？
+地屈孕酮主要用途是什么？
+低镁血症怎么治疗？要治疗多久？ 
+风湿性关节炎怎么治疗？要治疗多久？ 
+长期使用多力康应该注意哪些方面？
+味禾属于哪一类药物？
+为什么糜烂性胃炎的症状总是反复发生？  
+急性淋巴细胞性白血病有什么表现？  
+不同部位的脑出血症状都一样吗？  
+氨咖黄敏胶囊的注意事项有哪些？
+硫酸长春碱有哪些用途？
+老年性黄斑变性发生前有什么征兆？  
+如果怎么治疗？ 
+吉法酯的使用方法和剂量是什么？
+如何早期发现无症状性血尿或（和）蛋白尿？  
+血管瘤的药物治疗具体包括哪些？（以下问题只针对婴幼儿血管瘤，卡波西型血管内皮瘤另有治疗方法） 
+继发性三叉神经痛与原发性三叉神经痛的表现有什么不同？  
+复方氨酚烷胺片有哪些禁用人群？
+脑萎缩怎么治疗？ 
+酮洛酸可以用于哪些疾病的治疗？
+人凝血因子Ⅶ用于治疗哪些疾病？
+低镁血症一般去看哪个科？
+滴虫性阴道炎会传染吗？是怎么传染的？  
+轻度急性荨麻疹有什么表现？  
+类风湿关节炎关节表现有哪些？  
+有头痛的病人该如何注意症状，更有利于医生诊断？  
+典型的自闭症主要有哪些表现？  
+扁平足要去看哪个科？
+生殖器疱疹怎么治疗？ 
+发育迟缓需要手术治疗吗？ 
+胃癌有哪些常见的症状？  
+茵栀黄颗粒的注意事项是什么?
+下肢静脉血栓哪些必须手术治疗？ 
+盐酸舒托必利注射液有哪些不良反应？
+使用可泰舒时，用法用量应该怎么样?
+曲美布汀可能会引起哪些不良反应？
+新生儿溶血应该怎么治疗？ 
+得了肢端雀斑痣样黑素瘤会有些什么样的表现？指甲盖下出现黑点是怎么回事？  
+头孢丙烯对哪些疾病有治疗作用？
+乳酸钙咀嚼片的使用方法是什么？
+脊髓炎有哪些症状？  
+协达利可用于治疗哪些疾病？
+多奈哌齐属于什么分类？
+抑肽酶用于哪些病症？如何使用？
+哪些人群不宜使用利巴韦林？
+富马酸亚铁颗粒主要治疗哪些疾病？
+肠息肉有哪些表现？  
+维生素d滴剂胶囊型属于哪一类药物？
+胃下垂出现症状容易和哪些病混淆？  
+精原细胞瘤有什么表现？  
+脑卒中会留下哪些后遗症？  
+什么人群不适合使用桂利嗪片?
+脑性瘫痪的症状有哪些？  
+荨麻疹有哪些症状？  
+如何避免在使用西曲溴铵后出现暂时性视线模糊？
+念珠菌性龟头炎有哪些常见表现？  
+弘旭明属于哪一类药物？
+跟骨骨折常见的症状、体征是什么？  
+滴虫性阴道炎一般去看哪个科？
+哪些食管癌患者不能行手术治疗？ 
+胆管结石有什么临床表现？  
+儿童单纯性肥胖的主要治疗方式都有哪些？ 
+氨氯地平有哪些不良反应?
+得了甲型病毒性肝炎会有些什么样的表现？  
+胃十二指肠溃疡穿孔应如何治疗？ 
+轻度牙龈脓肿有什么表现？  
+肝癌会传染吗？  
+鼻中隔偏曲的症状有哪些？  
+海绵状血管瘤手术治疗后有没有后遗症？  
+抑郁症有哪些表现？  
+脾功能亢进应就诊于哪个科室？
+梨状肌综合征怎么治疗？ 
+稳定型心绞痛的典型症状是什么？  
+布洛芬特非那定伪麻黄碱属于哪个分类？
+糖尿病性视网膜病变有什么症状？  
+慢性肾盂肾炎怎么治疗？ 
+泰脂安胶囊的不良反应有哪些？
+二尖瓣关闭不全如何治疗？ 
+药物性痤疮怎么治疗？ 
+扁平足有哪些常见表现？  
+水杨酸咪唑属于哪一类药物？
+利拉萘酯乳膏属于哪些药物分类？
+对乙酰氨基酚双氢可待因的不良反应多为哪些？
+基多托是什么分类的药物？
+骨髓增生异常综合征的首发症状是什么？  
+丙哌维林有哪些注意事项？
+胸主动脉瘤有哪些常见表现？  
+奥洛他定的用法用量是什么？
+甘精胰岛素的用法用量是什么？
+白塞病如何治疗？ 
+曲克芦丁氯化钠注射液的用法用量是什么？
+黄连上清丸属于哪种药物分类？
+乳酶生片适用于哪些人群？用法用量是怎么样的？
+阿维a是哪些类型的疾病用药？
+骨肉瘤的症状有哪些？  
+未足月的胎膜早破怎么治疗？ 
+使用白云山会导致哪些不良反应？
+新凝灵属于哪种药物分类？
+水解蛋白注射液可否用于孕妇或哺乳期妇女？
+肛裂患者应该去哪个科就诊？
+乐佰欣需要饭前服用吗？有什么需要注意的事项吗？
+人们在亚硝酸盐中毒时会有哪些表现？  
+阿苯达唑适用于哪些疾病？如何使用？
+结肠炎怎么治疗？ 
+丙酸氯倍他索软膏可以用于眼部吗？
+怎么治疗腺样体肥大？ 
+如何治疗大网膜炎？ 
+登革热怎么治疗？ 
+亨特氏综合征如何治疗？ 
+硫酸长春碱属于哪一类药物？
+血液滤过置换液属于哪些分类？
+对乙酰氨基酚伪麻黄碱的不良反应有哪些？
+典型面肌痉挛有什么表现？  
+氯雷他定伪麻黄碱属于哪个分类？
+新生儿窒息有哪些表现？  
+布洛芬锌是什么药？有什么用途？
+复方倍氯米松樟脑乳膏有哪些注意事项？
+胆囊切除术后综合征一般去看哪个科？
+ANCA相关性血管炎患者一般去看哪个科？
+血脂异常有哪些表现和危害？  
+支气管炎有哪些治疗方法？ 
+倾倒综合征会有哪些表现？  
+上睑下垂如何治疗？ 
+甘草酸二铵有哪些用途？
+学习障碍如何治疗？ 
+维生素ec颗粒可能引发哪些不良反应？
+什么是环乙米特？有哪些不良反应？
+苯丙酮尿症会有后遗症吗？  
+拉贝洛尔的用法用量是什么？
+念珠菌性龟头炎手术治疗后多久能恢复？ 
+小牛血去蛋白提取物在治疗哪些疾病上有明显效果？
+治疗什么疾病使用复方柳安咖注射液时常见哪些不良反应？
+急性呼吸窘迫综合征治好后会有后遗症吗？  
+普罗帕酮属于哪一类药物？
+产褥感染怎么治疗？ 
+脑震荡后遗症病需要住院吗？  
+盐酸羟苄唑滴眼液属于哪一类药物?
+可否使用醋酸氢化可的松眼膏对治疗青光眼？
+醋酸曲安奈德硫酸新霉素麝香草酚属于哪个分类？