杏彩体育:2023内容科技应用典型案例:农业银行大模型Cha

2024-04-29 05:22:52   来源:杏彩体育投注网 作者:杏彩体育投注网官网 1

  农业银行大模型ChatABC,对于大模型精调、提示工程、知识增强、检索增强、人类反馈的强化学习(...

  农业银行大模型ChatABC,对于大模型精调、提示工程、知识增强、检索增强、人类反馈的强化学习(RLHF) 等大模型相关新技术进行了深入探索和综合应用,结合农业银行研发支持知识库、内部问答数据以及人工标注数据等金融知识进行融合训练调优,实现了全方位的金融知识理解和智能问答应用。

  农业银行AI研发团队深入贯彻落实数字化转型战略,始终保持对于AI新技术的跟踪和探索,全面推进全栈自主的人工智能服务平台建设,持续探索构建适应AI大模型的算力、数据、模型、工具、应用五位一体的AI大模型创新应用体系,提升大模型试点应用的水平。

  算力:构建云原生异构算力新基础。基于容器化技术,推进GPU、NPU等各类AI芯片的统一封装管理,实现异构芯片的统一纳管。深度应用kubeflow等云原生编排技术,支持训练任务的细粒度动态调度,充分提升AI算力的利用效率。一体化的云原生算力基础,实现对于多种算力的统一纳管和调度,构成了AI大模型训练的强大算力基础。

  数据:打通大模型持续迭代新闭环。围绕“采建管用”闭环,构建大模型训练和持续提升的基础数据闭环。优配比,合理调节内外部数据比例,清洗提升数据质量。巧回收,巧妙设计用户点赞点踩和用户回答问题的功能,采集人工用户对于问题的回答,作为模型持续优化训练的“燃料”。自强化,应用用户打分数据,持续提升奖励模型(Reward Model)精准度,依托强化学习使模型学会“左右手互博”。

  模型:打造多模型融合开放新生态。AI平台采用开放式的框架,通过组件化方法快速纳入各类开源模型和商业模型。持续跟踪开源模型最新进展,逐步构建适应问答、文本向量化等不同场景的模型库。参考HELM等模型评价体系,初步构建了一套适应金融特色的模型评价体系。

  工具:铺设模型流水线训练新管道。依托kubeflow等基础组件,AI平台构建了多条AI大模型的训练流水线。通过标准化流水线,AI大模型微调训练可以实现自动化流转,构建新训练的效率大幅提升。同时支持多模型并行训练,进而开展模型实验比对和模型调优。深度应用DeepSpeed、FastTransformer等加速框架,解决模型并行、数据并行等训练难题,提升AI大模型训练推理效率。

  应用:探索大模型知识融合新架构。构建异构知识库,支持全文检索、知识推理等各类知识检索场景需求。深度定制全文检索框架,支持文档类知识的高性能精准检索。依托知识图谱技术,构建概念类知识的图谱,通过知识推理提升知识推理能力。打造基于置信度的模型知识问答和知识库检索的评价体系,实现多源知识的无缝融合。

  ChatABC大模型已在智能问答、智能客服、辅助编程、智能办公、智能风控等多个领域同步进行试点。其中智能问答场景已提供超过200万次问答服务;辅助编码场景支持代码生成、单测生成、代码翻译等功能,已超过8万行代码投入生产应用。

  中国农业银行人工智能研发团队秉持创新发展理念,主动拥抱AI大模型前沿技术,以技术探索创新为牵引,以场景价值赋能为目标,推出金融行业首个自主创新的金融AI大模型应用ChatABC。通过AI大模型的创新应用,持续提升农业银行服务社会、服务经济、服务三农的水平。(中关村互联网金融研究院)