非常感谢要求,有机会参加本次出书编辑。

现状及问题

介绍系统开发的背景及存在问题

检验科无论是内部还是外部,每天都面对大量的问题。例如:采血人员,在面临患者每天咨询无数次的同样的问题,运用了自动语音播报的小设备,对病人的不同问题可以设置不同的回答,并且也用短信做辅助提示;在众多临床医护针对某个项目的同样问题,也经常重复性的咨询,虽然我们有《标本采集手册》,他们却很少浏览,更喜欢人工询问;检验科内年轻的同事有很多专业的问题,他们觉得SOP也不够方便,要咨询有经验的老师。

在这种状态下,完全可以利用计算机以提高效率和便利性。如智能问答系统,可以解决患者或医生护士的常见问题,这样的系统可以集成临床指南、标本采集手册和其他常见问题答案,并通过自然语言处理和机器学习算法提供准确的回答。医生、护士和年轻同事可以通过手机应用或电脑访问该系统,随时查询他们遇到的问题,并获得详细准确的解答。

检验科包含有很多的专业知识、科室文件,这些构成了非常庞大的知识系统,不仅仅是内部学习使用,更要方便的对外部问题进行搜集解答,以提高工作效率,促进各方之间的合作和学习,体现整个科室的工作能力与水平,为医患提供更好的服务。

检验科知识系统从技术上,就是构建一个知识库,以方便医生、护士、患者、科室内同事进行查询,以提高工作效率。这个过程包括一下方面:

  • 检验科亚专业书籍。
  • 科室内专家系统,科室文件。
  • 内部学习、培训考核。
  • 对外服务知识,患者问题,医护问题。

人工智能的出现与检验的结合

计算机技术的发展总是让人感到惊喜,将文档进行汇总存储在数据中,随着需求的更新再进行不断的优化,即便不是对某一个文档特别熟悉也可以轻松的进行检索。

检验科中的文件非常多,例如:检验科管理体系的相关规定、检验项目的适用范围、某疾病的诊断及辅助诊断可选择的检验、标本采集运送保存处理、检验项目的允许误差及危急值、生理及病理干扰因素等等。

把上面不断增加的内容转换为数字知识,这个建立过程一定是非常复杂和耗时的,要不断进行更新,并定期进行审核。

几个月前有幸体验了一下ChatGPT,这种赛博朋克的高科技的智能程度引爆了整个科技圈,最近这几个月内铺天盖地的消息层出不穷。不由得感叹,大家都很幸运,生活在这样的一个AI时代。所有的这一切,都在表达着这样一个意念:人工智能的时代已经到来了!

在医学检验领域,是医学和计算机科学紧密结合的学科,例如您看到的科室内各种先进的仪器设备、从血样的自动上机离心检测出报告、与医院交互的实验室信息管理系统、试剂耗材等管理系统等等,这些都使得检验科的服务能力得到大幅提升。

为了更加提升这种服务能力与自身管理的水平,匹配医学检验领域的独有知识和相关研究,本文对传统的知识库构建、与AI的融合尝试做一些梳理和探讨。

检验医学知识库的应用范围

检验医学知识电子化

目前,检验医学知识以不同的形式和格式存在于专业书籍、教科书、期刊杂志以及医学专家中,无法进行统一的存贮、管理、检索、分析和利用。建立检验知识库,按标准化的方法进行收集、整理,统一格式和保存方法,使信息和知识变得规则和有序,提高检验医学的数字化程度。

检验医学知识共享与交流

检验医学知识数字化后,通过知识库系统可方便地进行共享和利用,并能提供最新的信息和知识,更快地将知识应用于临床。由于专业背景、医学知识的差异以及对检验医学的熟悉程度不同,不同医务人员对相同的检验结果可能会有不同的理解,特别是新开展的检验项目,每个人的熟悉程度不同,有时甚至会出现完全相反的解释。利用检验知识库,在一定程序上可以统一检验结果的解释标准,缩小医务人员之间的差异,规范医疗行为。

检验报告单提供检验医学知识

通过检验知识库在线服务帮助,可以提供每个检验项目的临床意义、参考范围、影响结果因素、注意事项等知识。可以对检验报告单进行初步诊断,提示可能的临床情况,并就进一步检查做出建议。不仅提高工作效率,还可以提高医疗工作的质量,使实验室从管理向服务发展。

提高实验室结果的利用率

利用检验知识库进行检验结果辅助解释,不仅不会遗漏每个项目和项目组合的临床意义,而且可以指导医生选择针对某类疾病的相关试验项目,对不相关的试验项目不进行检查。有些检验项目费用昂贵且检测周期较长,所以有针对性地选择试验项目既可节省病人的医疗费用,又可节约病人的就诊时间。

技术特点(经典知识库应用)

检验百科知识系统

检验百科知识系统是专门为临床医生、检验技师、医药行业从业者及广大患者精心设计的检验知识库。系统采用了结构化知识处理的方法,并对知识进行不同级别的分类,在分类过程中尽量减少知识边界的模糊性。检验百科知识系统采取的是半自动的知识获取方式,首先由知识工程师与领域专家制定知识表达方式,通过软件开发技术设计知识编辑工具,然后领域专家利用知识编辑工具与计算机交互,将结构化的知识保存到知识库中。系统提供了知识检索及个性化收藏的功能,便于用户浏览和查找所需要的知识。不仅能帮助患者更好地了解他们的检查项目以及更清楚地与医生进行交流,也能为临床一线工作人员提供检验诊疗数据支持。

检验百科知识系统需要建立疾病诊断知识库、合理用药知识库、医学百科知识库、检验项目知识库、患者教育知识库、医学知识文档等与检验知识紧密相关的医学知识库。随着通讯技术的快速发展,智能手机日益普及,将逐渐取代电脑完成上网查询、邮件、社交等诸多功能。为适应当前技术的发展,检验百科知识系统设计成可部署在互联网和局域网上的模式,即系统采用了网站+APP的应用模式,在方便传统网络用户习惯的基础上,又能满足智能手机用户的需求。

APP的应用模式可帮助基层医疗机构人员突破时间、空间限制,在空闲时间进行学习或阅读。在功能上可展示特殊符号,如上标、下标;可整合图形、视图等多媒体;可按照临床需求进行检验知识快速浏览、查询;可提供方便、快捷、准确的知识关联及知识导航功能;可对检验知识点进行更新和版本控制。

检验文档管理系统

当前国内的医院信息化发展迅速,各类信息系统都已经在医院实施与运行,但是对于文档信息化建设的作用和迫切性,多数医院并未重视,导致医院在信息化建设时未将文档信息化建设纳入同步考虑和同步实施。随着国家卫计委颁布的《医疗机构临床实验室管理办法》的实施,对医学实验室标准化、规范化、信息化、国际化管理提出了更高的要求。国内大多数二甲、三甲医院的检验科已经逐步实施了标准化,并依照评审标准要求建立了制度、流程、记录及相关文件。传统的纸质文档已经不能满足检验科标准化管理的需求,且存在难以保存、更新成本高、存储占空间、不利于信息传递等问题。因此将检验科室所有文档电子化,通过检验文档管理系统来实现电子文档自动化管理,使文档管理的日常操作更为方便,同时也避免了手工管理出现一系列的错误。

检验文档管理系统采用了新的分布式技术—Web服务技术,支持word/excel/ppt/pdf等常用文档格式。因构建在英特网上,具有简单性、松散藕合性、高度可集成性、规范性和开放性等优点,不会存在集中式文档管理系统的负荷过重、网络拥塞、初次投入成本高、容错能力差等问题。检验文档管理系统提供文档管理功能(如预览、打印,记录阅读者,防止下载或COPY),可以对电子文档提供添加、修改、删除功能和版本控制;提供添加、修改、删除用户,以及设定、更改用户权限的功能;提供模板管理、日志管理和数据备份等功能。见图13-44。

1.文档浏览功能
当前用户浏览过的文档系统会在文档名称前标注[已阅],未浏览过的文档会在文档名称前标注[未阅],点击文档名称,即可查看当前文档内容,系统还额外提供以下辅助阅读功能。

(1)文档内容查找功能:点击查找按钮,在跳出的输入框中输入所要查找的内容,例如免疫分析,文档中所有“免疫分析”词条都会被标识出来。

(2)文档缩放功能:用户可根据个人喜好调整文档字体大小。

(3)文档打印功能:提供当前文档的打印功能。

(4)文档下载功能:提供当前文档的下载功能,下载的文档格式默认为WORD。

(5)文档信息:显示当前文档所有相关信息,点击收藏按钮,还可收藏至个人中心。

(6)阅读情况:系统会在文档页面下方记录所有浏览过该文档的用户名,提高用户积极性,并起到督促作用。

(7)审核或评论:用户可对当前文档进行评论。

2.创建、修改文档功能
用户可创建新的文档,对已有文档进行修改,点击操作日志就可以看到当前文档的修改记录,便于对文档的监控。文档的管理用户点击系统设置,跳转到后台管理中心,在后台管理页面点击文档管理。文档管理分为分类管理、文档起草、文档修订、文档审核、文档批准、文档版本、文档作废、文档查询模块。

(1)分类管理:可直接在当前管理分类页面进行文档分类查看、添加、删除、移动。例如在检验目录下添加“测试”这个分类,只需在方框里输入测试,再点击添加当前分类按钮即可。支持分类合并。

(2)文档起草:点击新建文档,就可以在当前页面创建及上传新文档。刚创建的文档状态为“起草”,可在当前页面直接进行编辑修改。点击文档名称前的小方框,选择提交,文档状态变为“起草结束”,这时在当前页面无法修改此文档。

(3)文档修订:未颁布文档可进行修改,已颁布文档无法进行修订。对无需修订文档,可选择提交审核,文档状态变为“已修订”。修改完成后可选择保存修订、提交审核,如果选择返回起草,文档状态重新变成“起草”,可在文档起草前页面直接进行编辑修改。

(4)文档审核:只有状态为“已修订”的文档才能进行审核。点击审核后,可对当前文档进行审核或驳回操作。通过审核文档状态变为“已审核”。

(5)文档批准:只有状态为“已审核”的文档才能进行审核。点击批准后,可对当前文档进行批准或驳回操作。通过批准文档状态变为“已批准”。

(6)文档颁布:只有状态为“已批准”的文档才能进行颁布。点击颁布后,可对当前文档进行颁布或驳回操作。通过颁布文档状态变为“已颁布”。

(7)文档查询:输入需要查找的文档名称或关键字,点击搜索即可。

(8)文档作废:已颁布文档不能修改,只能进行作废。

检验题库考试系统

医学考试以其特有的理论功能、导向功能和实证功能不断促进医学教育的发展,在考核、评价和甄选医学人才中发挥着举足轻重的作用。命题和试卷统计分析是医学考试工作中的主要环节,而传统的人工命题和试卷分析中存在命题难以规范、试卷统计分析耗时费力和容易出错等问题。随着计算机技术的发展和推广,现代教学中很多学科都逐步采用计算机作为工具进行考试,即在线考试系统。与传统考试模式相比,在线考试具有无可比拟的优越性,它可以将传统考试过程中的试卷组织、审定印制、传送收集、登记发放、评判归档各个环节缩小到一至两个环节,几乎屏蔽了所有人工直接干预考试活动的可能性,不但能够节约大量的时间、人力、物力与财力,而且还可以大幅度增加考试成绩的客观性和公正性。
检验题库考试系统支持多种题型,如单选或多项选择题、填空题、是否判断题和问答题,基本可以满足现在考试要求。用户做完试卷,点击提交后,系统会直接对试卷进行评分,并显示正确答案。系统支持对试题按知识树的二级目录管理,在前台自动形成题库,用户可按照自己的需求进行练习,自动记录正确与否。系统支持试卷的管理,包括出题、考试、自动或手动批改、分数公布等,用户可在后台进行创建新的试题、编辑已有试题等一系列操作。

(1)试题管理
用户点击首页的系统设置后跳转到后台页面,选择考试管理栏,跳转到“考试管理:试题管理”页面,用户在当前页面即可对现有试题进行管理。用户点击编辑,跳转到编辑试题页面,用户可对当前试题进行修改。所有编辑完成的试题均会在前台显示,且依据创建时间及所属知识点进行试题排序。勾选所要删除的试题,点击页面最下方的删除按钮,系统会出现下图的提示框,选确定即可。

在创建新的试题时,需确定试题所属知识点,选择试题类型,单选题的答案选项系统默认为四项,点击加选项按钮可增加答案项数。勾选结束后在题干内容框中里输入新建的试题内容,支持图片的添加。完成题干内容输入后勾选试题难度,试题难度等级分为很容易、较容易、一般、较难、非常难。如有特殊情况在试题说明里备注即可,全部完成后点击保存。

(2)试卷管理
用户可在后台新建试卷,并指定参加考试的人员。尤其是系统提供的试题排序、选择题选项排序,可避免因试卷考题顺序和内容相同而出现的作弊情况。

考试完成后,出卷人在考试情况栏可以查看本次考试情况,包括考试人、得分、考试用时。点击批改可修改当前考试人的成绩,点击考试详情可以查看当前考试人的试卷内容及考试所用时间、分数。确认无误后就可以公布成绩。如果用户想查看自己创建的试卷,只需点击前台首页自己的用户名,再选择“我的试卷”栏。

检验项目数据库

检验项目数据库是检验知识库的领域基础理论知识,对检验项目的参考区间、临床意义、影响因素等重要内容提供基于循证检验医学的临床应用指南。国际上,最著名的检验项目数据库是美国的Lab Tests Online。这是一个同行评议、非商业性、以病人为核心的由检验医学专家提供的介绍临床检测项目的公共资源平台,提供近六百多项检验项目的资料,内容包括为什么要检验、什么时间做检查、标本要求、检测原理、结果使用、临床意义以及资料链接等。目前,我国卫生部总共颁布的检验项目约1200项,每个项目还涉及检验仪器、标本类型、试剂或方法、患者准备等,这些因素都将影响到检验结果的判断和解释,从而影响疾病的诊断、治疗、监测和预防。检验项目数据库提供权威的、全面的、格式化的数字化资料,目的是让医务人员选择最有效、最经济、最有价值的检验项目应用于患者,达到优化医疗资源的过程。

1.检验项目数据库结构
检验项目数据库对每个试验项目的详细资料进行管理,是检验知识库的主要内容之一。建立符合我国人口学特征、卫生健康需求和临床检验现状的检验知识库,对促进检验医学的发展,规范医疗行为,降低医疗费用具有重要意义。要建立检验项目数据库,首先要确定数据库的框架结构和编写指南,然后对试验项目的知识内容进行收集、整理、审核和发布,最后才能使用数据库并进行持续更新完善。检验项目数据库的框架结构如下:

(1) 检验项目
检验项目由检验项目名称和简介两部分组成。项目名称是检验项目数据库的主索引和关键字,由检验项目的中文名称、英文名称和缩写组成。如同一检验项目存在多个名称时,第一个写我国最常用的名称,接着是别名,别名可多个。检验项目简介包括定义、成分特性、生理变化过程、检查意义、适用疾病等内容。把检验项目和适用疾病关联,对临床医生选择项目有重要帮助,也有助于疾病的诊断。

(2)参考区间
参考区间可分为新生儿、儿童、成人等组别,也可包括性别、年龄、生理周期等组别。参考区间是分析和判断检验结果是否异常的重要依据,检验项目的参考区间无论对医师、护士、患者还是检验人员都至关重要。我国目前所使用的参考区间大多来自教科书或试剂盒说明书,这些参考区间绝大部分来源不明,部分可能源自国外的研究报告。由于不同地区的人群在人种、生活环境和饮食习惯上都存在差异,应尽可能地采用符合我国人群特征的参考区间。
如果检验项目存在医学决定水平、危急值、生物变异等重要阈值,应给予显著提示。如:危急值是一种极度异常的检验结果,如果不给予及时有效的治疗,患者将处于危险的状态,相反可挽救患者生命。生物变异是人体体液物质围绕体内环境稳定调节点的自然波动过程,包括日、月、季节的生物变异,对结果的分析判断具有重要参考意义。

(3)临床意义
重点介绍检验项目在疾病中变化的意义,即什么疾病会发生怎么样的变化。可以按升高或降低分类介绍,也可按主题内容介绍。检验项目的临床意义是检验医学存在的根本,也是合理选择检验项目、正确分析检验数据、科学地判定和使用检验结果的基础。

(4)检测原理
介绍国内各检验项目常用方法的检测原理及不同方法的比较,以方法学为核心,评价诊断试验在真实性方面的两个基本特性:①灵敏度:是指由标准诊断法确诊有病的病例组中经诊断试验查出阳性人数的比例,余下的人即为假阴性患者。②特异度:是指由标准诊断法确诊无病的对照组中经诊断试验检出阴性结果人数的比例,余下的人即为假阳性患者。

(5)影响因素
介绍检验项目的影响因素,包括生理影响和干扰因素,如饮食、饥饿、情绪、运动、饮酒、体位、吸烟、药物等,这些因素会影响到检验的结果。医护人员应了解影响检验结果的非病理性因素,才能正确分析和处理结果。

(6)患者准备
说明患者准备要求,如时间、空腹、平躺、安静、清洗、消毒等。患者准备是保证检验结果准确性和可靠性的重要环节。

(7)标本采集和运送要求
介绍标本采集要求,如规定的容器、标本量、采集次序、时间等;介绍标本运送要求,如时间、保温、生物安全等。

(8)相关研究文献
提供检验项目的相关研究文献、教材等资源支持,可附加常见类型的文件格式,供在线阅读。可提供细胞形态学、寄生虫等图谱资料。

2.检验项目的知识管理
检验医学作为一门新兴学科正在不断成长,每年都会增加一些新项目,检验项目亦不断出现新的研究成果,这些资料应更新在检验知识库中。检验医学知识的管理流程包括知识的获取、分类和存贮、传递与共享、运用和创新等。

(1)知识获取
检验医学知识的来源包括:①经典书籍,如高等医药院校教材(第三、四版)、全国临床检验操作规程(第三版)、试验和仪器配套说明书等。②数据库文献资料:根据任务确定检索策略,查找中国知网、PubMed等文献数据库。③实验室内部的活动和服务,如工作总结、业务学习、学术交流等。④其它资源:如互联网等。
以经典文献为基础,结合全文数据库资料,吸收该领域的最新方法和理念,对检验医学的知识点进行总结和评价。根据检验项目数据库的框架结构和指南要求,组织检验专业人员进行知识点撰写。可把每个知识点当作文献综述或科研论文,内容应体现科学性,文字通顺、精练、易懂。知识点整理完成后,组织相关领域专家进行内容审核。

(2)知识的分类与存贮
对所获取的知识按照一定的标准进行分类,然后按照一定的途径和形式将其存储起来,让医务人员使用起来方便、快捷、高效。检验知识种类繁多,需要存储的不只是知识条目,还包括与之相关的事件、使用情况、来源、知识链接等信息,这些信息可以文本、声音、图像、表格、超文本等多种格式体现出来。

(3)知识的传递与共享
知识的传递与共享主要是指在权限允许的前提下,充分分享其知识库的内容。通过共享机制, 实现组织内隐性知识和显性知识的相互转化, 最终完成知识的积累、共享和创新。

(4)知识的利用和创新
通过对知识的有效利用和对知识的分享,有助于节省疾病诊断和医疗决策所需的时间和费用,有利于规避医疗风险,提高医疗水平。医院实验室在日益激烈的竞争中应积极主动加强知识的创新,力求更大的发展。

(5)知识的生命周期
知识像一个活的正在呼吸的有机生物,在时间上存在从产生到消亡的过程,称为知识的生命周期。知识需要经历产生、加工、存储、应用、老化等过程,必须进行知识点的持续更新工作,保持知识长久的应用价值。

技术特点(人工智能知识库应用)

AI实现原理

如何打造这样一个针对于我们的知识累积的专家系统呢?当然我们并不是完整的开发,我们也没有能力去开发这样的大语言模型(LLM),我们仅基于现有的模型,训练自定义模型的思路,本节涉及采用的基本技术、实现效果等。

大语言模型

LLM大语言模型(Large Language Model)。拿 GPT 来说, GPT 其实出现了好几代,GPT 3 它有 45 个 t b 的训练数据,那么整个维基百科里面的数据只相当于他训练数据的 0. 6%。我们在这个训练的时候把这个东西称作语料,就语言材料,这个语料的量是可以说是集中到我们人类所有语言文明的精华在里面,这是一个非常非常庞大的一个数据库。

从量变到质变

经过这样的一个量的学习之后,它产生的一些就是做 AI 的这些计算机学家们,他们没有想到会有这种变化,无法合理解释这一现象的产生即——当数据量超过某个临界点时,模型实现了显著的性能提升,并出现了小模型中不存在的能力,比如上下文学习(in-context learning)。

这也就催生了两个事件:各大AI巨头提高训练参数量以期达到更好的效果、由于质变原因的无法解释带来的AI安全性考量。

大语言模型涌现的能力

上下文学习。GPT-3 正式引入了上下文学习能力:假设语言模型已经提供了自然语言指令和多个任务描述,它可以通过完成输入文本的词序列来生成测试实例的预期输出,而无需额外的训练或梯度更新。
指令遵循。通过对自然语言描述(即指令)格式化的多任务数据集的混合进行微调,LLM 在微小的任务上表现良好,这些任务也以指令的形式所描述。这种能力下,指令调优使 LLM 能够在不使用显式样本的情况下通过理解任务指令来执行新任务,这可以大大提高泛化能力。
循序渐进的推理。对于小语言模型,通常很难解决涉及多个推理步骤的复杂任务,例如数学学科单词问题。同时,通过思维链推理策略,LLM 可以通过利用涉及中间推理步骤的 prompt 机制来解决此类任务得出最终答案。据推测,这种能力可能是通过代码训练获得的。

语言模型历史

2017谷歌推出 transformer 模型,2018 年的时候谷歌提出了 Bert 的模型,然后到 GPT 2,从 340 兆到 10 亿 、15 亿,然后到 83 亿,然后到 170 亿,然后到 GPT3 1750 亿的参数。

最早的是 2017 年出来的,就是我们所了解的那个GPT, GPT 名字里面有一个叫做transformer,就是这个 transformer 模型。它是 2017 年出现的,其实也很早,所以计算机领域来说, 2017 年可以归结于上一个时代的产品。然后 2018 年第一代 GPT 出来,当时还不行,相对来说比较差,性能也不行,然后像一个玩具一样。然后 2018 年谷歌又推出了一个新的模型,叫BERT,但是这些模型都是基于之前谷歌推出的这个 transformer 模型进行发展的。然后到了 2019 年, open AI 除了 GPT 2 也没有什么特别,就是它没有办法来产生一个语言逻辑流畅通顺的一段名词,你一看就知道这是机器写的。

但是到了 2020 年的5月, GPT 3 出来之后,其实就有了非常大的变化, GPT 3 的性能比 GPT 2 好很多,它的数参数的数量级大概是 GPT 2- 10 倍以上。

大语言模型的训练方式

训练语言模型需要向其提供大量的文本数据,模型利用这些数据来学习人类语言的结构、语法和语义。这个过程通常是通过无监督学习完成的,使用一种叫做自我监督学习的技术。在自我监督学习中,模型通过预测序列中的下一个词或标记,为输入的数据生成自己的标签,并给出之前的词。

训练过程包括两个主要步骤:预训练(pre-training)和微调(fine-tuning):

在预训练阶段,模型从一个巨大的、多样化的数据集中学习,通常包含来自不同来源的数十亿词汇,如网站、书籍和文章。这个阶段允许模型学习一般的语言模式和表征。
在微调阶段,模型在与目标任务或领域相关的更具体、更小的数据集上进一步训练。这有助于模型微调其理解,并适应任务的特殊要求。

常见的大语言模型

GPT-3(OpenAI): Generative Pre-trained Transformer 3(GPT-3)是最著名的LLM之一,拥有1750亿个参数。该模型在文本生成、翻译和其他任务中表现出显著的性能,在全球范围内引起了热烈的反响,目前OpenAI已经迭代到了GPT-4版本

BERT(谷歌):Bidirectional Encoder Representations from Transformers(BERT)是另一个流行的LLM,对NLP研究产生了重大影响。该模型使用双向方法从一个词的左右两边捕捉上下文,使得各种任务的性能提高,如情感分析和命名实体识别。

T5(谷歌): 文本到文本转换器(T5)是一个LLM,该模型将所有的NLP任务限定为文本到文本问题,简化了模型适应不同任务的过程。T5在总结、翻译和问题回答等任务中表现出强大的性能。

ERNIE 3.0 文心大模型(百度):百度推出的大语言模型ERNIE 3.0首次在百亿级和千亿级预训练模型中引入大规模知识图谱,提出了海量无监督文本与大规模知识图谱的平行预训练方法。

向量数据库介绍

有了大语言模型,就可以进行很智能的对话了,比如,你问AI,今天天气怎么样,AI经过您的定位信息,并查询当地的天气情况后,告诉你今天天气很好。但是,它有一个特点,就是没有记忆,并且对一些垂直细分行业是无法理解的,比如,你问AI,某某检验科某某检验程序是如何规定的?AI就不知道了。这个时候怎么办呢?

向量数据库

当然,这本书并不是一本专业的计算机图书,所以这个概念,也不想讲的太深入,但我觉得这又是一个非常重要的概念。

在了解向量数据库之前,先来了解下什么是向量化,它是一个对于现有知识进行embedding嵌入的一个过程。

Embedding 简单地说就是N维数字向量,可以代表任何东西,包括文本、音乐、视频等等,我们主要关注的是文本。要创建一个向量Embedding,我们需要借助于Embedding模型(例如OpenAI的Ada),把想要处理的文本内容输入到模型里面,就可以生成一个向量表示,并把它存储起来以备之后使用。

向量数据库就是对于向量化后的数据进行存储和检索,它使我们能够进行语义搜索,即通过相似性来搜索数据,比如寻找具有相似含义的文本。例如,在向量空间上建模男人、国王,女人和女王的关系时就能非常明确地看出它们之间的相关性。

更为直观的例子:假设你是一个孩子,有一个大玩具盒子。现在你想找一些类似的玩具,比如玩具汽车和玩具巴士。它们都是交通工具,这就被称为“语义相似性”(事物有着相似的含义)。再假设你有两个相关的玩具,但并不相同。例如一个玩具汽车和一条玩具道路。尽管它们不完全相同,但会被认为是相似的,因为汽车通常是开在道路上的。

有了这样的一个向量数据库之后,我们就可以方便的进行知识存储了。同时,向量数据库本身设计的非常高效,可以支持大规模的查询,并且可以提供实时的响应,非常适合这种多维度存储内容的检索。

与传统数据库的区别

1)数据规模超过传统的关系型数据库,传统的关系型数据库管理1亿条数据已经是拥有很大的业务流量,而在向量数据库需求中,一张表千亿数据是底线,并且原始的向量通常比较大,例如512个float=2k,千亿数据需要保存的向量就需要200T的存储空间(不算多副本),单机显然不具备这种能力,可线性扩展的分布式系统才是正确的道路,这对系统的可扩展性,可靠性,低成本提出非常大的挑战。

2)查询方式不同,计算密集型,传统的数据库查询通常可以归结为点查和范围查,而无论是点查和范围查都是一种精确查找,即查询得到的结果要么符合条件要么不符合条件,而向量数据库的向量查询通常是近似查找,即查找与查询条件相近的结果,即查询得到的结果是与输入条件最相似的,而近视比较对计算能力要求非常高。

3)低时延与高并发。在平安城市中的应用需要支持交互式查询,端到端3秒,对向量数据库的要求提升到1秒,我们的设想是后续所有的警察人手一个查询终端,所以高并发也是必须的,1w QPS是我们的底线。

AI知识库的实现

本地知识的向量化处理过程,,一般情况下,我们的知识都要转化为文本,再对其进行向量化,方法有很多主要可分为以下两个大类:基于统计的方法、基于神经网络的方法。

文本向量化的主要目的是将文本表示成一系列能够表达文本语义的向量。无论是中文还是英文,词语都是表达文本处理的最基本单元。当前阶段,对文本向量化大部分的研究都是通过词向量化实现的。

前面提到的OpenAI就提供这样的服务,我们把自然语言提交给OpenAI,然后他处理后,返回给我们,在进行储存到数据库中。我们把这个过程就叫做训练。

那么训练好了,我们怎么使用呢?当用户提交了几个词,或者一句话,同样我们也需用把这个内容提交给OpenAI,然后OpenAI返回给我们一个向量提问内容,把这个向量提问内容与之前训练储存好的向量数据库中的内容进行匹配,相关信息就匹配出来了。

我们把用户提问的信息和匹配出来的相关信息,再进行一个关联,关联后,一同提交给大语言模型,让其进行予以理解,最后将问题的答案综合汇总后返回给用户,这就是整个的AI知识库的处理逻辑。

AI知识库的优化

大语言模型,虽然是比较智能,但偶尔也会出现幻觉的情况,例如低版本的ChatGPT3.5,当你问他鲁迅和周树人,是不是同一个人,那么它给出答案是不同的,并分别对他们进行胡编乱造。

为了觉得这个问题,除了升级大语言模型的版本之外,还应该尽可能的给予大语言模型更明确的提示,我们把这些提示习惯称之为:prompt。

简单来说Prompt的过程就是给予大语言模型更明确的指示,当然也包括前面提到的知识库匹配出来的答案,只有明确的任务目标,明确的语言表达,明确的相关问题的表述内容,才能让AI更好的理解,防止歧义发生。

虽然我们希望人工智能可以给我们更加准确高效的答案,但目前来看,人工智能在处理自然语言时,仍然存在一些问题,例如在问题表述与相关知识点不明确的时候,它也会根据自己的一些认知来进行理解,这就会导致一些误判。

所以,我们还需要对AI进行一些调优,以及对大语言模型进行更多参数的训练,等待更高的版本。

知识库使用

经过上面的过程,我们已经有能力搭建自己的知识库了,那么,就该体现一下人工智能的超强的能力了,只要您有应用的需求,例如签名经典的知识库中的那几个应用,您可以问他任意文档中的各种问题,可以是检验项目,也可以是管理规章制度,也可以让他针对某一个培训内容进行出题,可以是选择题,也可以是填空题。总之就是您能够想得到的需求,把它当做人来对待,向TA提问都可以得到答案。

解决方案

前面已经花了较大的篇幅介绍了传统的知识库和人工智能的知识库,他们之间多方面存在显著的差异,这些差异影响了它们的应用、效率和用户体验。当然我个人更加倾向于后者,并在工作中使用人工智能来解决检验科知识库的实际需求。简单对比可以总结为以下几个方面:

技术原理与架构

传统知识库通常依赖于结构化数据库和搜索算法,通过关键字匹配或语义分析来提供信息检索服务。它们的技术架构相对固定,通常包括数据存储、检索引擎和用户界面等几个主要部分。而AI知识库则基于深度学习技术,特别是大规模预训练语言模型,如GPT系列。AI知识库通过海量文本数据的学习,形成了对自然语言的理解和生成能力,能够理解用户的查询意图,并生成自然语言回答。

知识存储与表示

传统知识库以结构化数据的形式存储知识,如实体、属性、关系等,这种方式对于特定领域的知识表示和查询非常有效,但缺乏灵活性。AI知识库则采用非结构化文本数据的形式,通过自然语言处理技术将知识转化为模型可以理解的格式,能够容纳更广泛、更丰富的信息,包括文本、图像、音频等多种形式。

查询与检索

传统知识库依赖于精确匹配或基于规则的语义分析来检索信息,用户需要准确地表达查询意图,并使用特定的查询语句或关键词来获取信息。AI知识库通过自然语言处理技术,实现了对用户查询意图的自动识别和解析,用户可以以自然语言的形式输入查询问题,无需考虑特定的查询语法或关键词。

智能化程度与应用场景

传统知识库智能化程度相对较低,主要提供信息检索功能,依赖于用户的查询能力和对知识库的熟悉程度来获取所需信息。AI知识库则具有更高的智能化程度,能够理解用户的查询意图,根据用户的历史行为和偏好进行个性化推荐,并具备知识推理、问答生成等高级功能。

成本与投资回报

传统知识库的建设和维护成本相对较低,但随着数据量的增长和查询需求的增加,可能需要投入更多的资源来优化性能和扩展功能。AI知识库的建设和维护成本较高,需要投入大量的计算资源和专业的技术团队,但随着技术的进步和应用场景的拓展,其投资回报也将逐渐显现,通过提供更加智能、高效的知识服务,可以帮助企业提高效率、降低成本、提升客户满意度等。

预期效果

需求分析与规划

在设计人工智能知识库前,进行需求分析明确知识库的使用场景和预期功能。包括了解用户的查询习惯、知识库需要覆盖的范围以及交互方式等。规划阶段则需要确定知识库的结构、数据来源和更新机制。

数据收集与处理

根据需求分析的结果,收集相关的数据和信息。这可能包括文档、FAQ、视频、图片等多种形式的知识。数据预处理是确保知识库质量的关键,包括清洗、标准化和分类等步骤。

知识库构建

导入所需的各种资料,训练生成自己的知识库。检验科AI知识库,目的是为医学检验专业人员提供参考和学习资源,帮助他们更好地理解和应用医学检验知识,提高医学检验的质量和准确性。利用ChatGPT进行向量化处理,集成智能搜索和问答系统,使用向量检索库和大语言模型(LLM)推理,将用户查询与知识库内容进行匹配,提供精准的答案。同时,配置WebUI界面参数,确保系统能够根据用户的输入提供有效的反馈。

知识库的维护与优化

知识库的维护是一个持续的过程,需要定期更新内容以保持信息的准确性和时效性。通过用户行为分析,如打分、点击频率等,对模型的严谨程度、提示词等进行优化,提高知识库的查询效果和用户体验。

使用效果评估

人工智能知识库系统的使用效果评估是一个复杂的过程,涉及到多个方面的考量。例如,我们可以输入问题:检验科主任的职责。

如图所示,我们可以看到它的具体回复,经过不断的测试,总体表现还是非常不错的,但为了更加准确评估,我们可以根据一下一些关键的评估指标和方法来评估:

准确性(Accuracy)
评估知识库返回信息的正确度。可以通过精确率和召回率的计算来衡量,其中精确率关注返回结果的相关性,召回率则关注于所有相关信息中有多少被成功检索出来。

用户满意度(User Satisfaction)
通过用户调查、反馈和使用行为分析来评估用户对知识库系统的满意程度。用户满意度是衡量系统是否满足用户需求的重要指标。

成本效益分析(Cost-Benefit Analysis)
对比知识库系统的建设和维护成本与所带来的效益,包括提高工作效率、减少重复劳动、加速新员工培训等。

响应时间(Response Time)
衡量用户请求和系统响应之间的时间间隔。评价响应时间是影响用户满意度的关键因素之一,通常包括从用户发起请求到系统完成处理并将结果返回给用户的整个过程。

可扩展性(Scalability)
涵盖数据容量、用户并发数和处理复杂查询的能力。评估可扩展性的关键是观察系统在负载增加时的表现,比如通过增加数据量测试知识库的处理能力。

未来展望

本章节探讨了经典的知识库、人工智能知识库等方面的原理与应用,也介绍了具体的实现过程,笔者也根据自己检验科需求搭建了一套的AI知识库系统,并做了详细的体验报告。

简单来说,它比传统的查询系统更加的“聪明”,与其对话更像是在和人在交流,AI是一个前沿的新事物,文中难免有不足之处,随着人工智能技术不断更新,未来一定会有很多变动和改进。

本内容仅是一种引发思考的起点,希望能带给读者一些人工智能应用方面的启示和思路,我们期待通过不断的研究和探索,找到更好的方法来应对检验科知识库的挑战。