Imagination 。首先 Te 。完成文心chnologies 宣告首先完结百度文心大模型（ERNIE 4.5 开源版）在其。大模端侧GPU 。布置硬件上的首先端侧布置 。适配完结后 ，完成文心开发者 。大模端侧可在搭载 Imagination GPU 的布置设备上完成高效本地。 AI。首先推理 ，完成文心一起大幅下降推理本钱 ，大模端侧这一作用也标志着 Imagination GPU 在端侧 AI 推理场景中的布置技能抢先性 。
Imagination高度优化软件栈完成高效本地AI推理 、首先下降本钱。完成文心
本次适配的大模端侧文心4.5模型为开源版别，具有强壮的。智能 。问答 。 、文本生成 、语义了解和常识推理才能 ，广泛适用于移动设备、语音帮手 、。IoT 。和教育硬件等资源受限终端 。在飞桨结构支撑下 ，Imagination GPU渠道展现出超卓的推理功能 。
Imagination根据现有的GPU硬件顺利完结了本次文心大模型系列开源模型布置软件栈 ，并得到实践网络验证 。一起 ，Imagination高度优化的核算软件栈对AI本地推理功能进行优化 ，该软件栈包括OpenCL核算库，编译器东西链 ，干流 。编程。结构的参阅开发套件（Reference Kits） 。
其间参阅开发套件可帮忙开发者经过TVM将干流AI结构中的代码迁移至Imagination的软件栈 。该套件根据Imagination优化的OpenCL核算库和图编译器 ，运用专属A 。PI 。调用 ，供给全面的文档阐明和组件集成参阅 ，便于客户将其高效融入本身开发流程 。
Imagination与百度协同立异 ，加快大模型端侧遍及 。
适配过程中，Imagination与百度团队严密协作 ，针对文心4.5的特色进行了优化。推理方面，百度文心提出了多专家并行协同量化办法和卷积编码量化 。算法 。 ，完成了作用挨近无损的4-bit量化和2-bit量化。此外 ，还完成了动态人物转化的预填充 、解码别离布置技能，能够更充分地使用资源 ，提高文心4.5 MoE模型的推理功能。根据飞桨结构 ，文心4.5在Imagination GPU硬件渠道上表现出优异的推理功能。
Imagination在本年5月推出了面向边际AI的E 系列 GPU，具有高功能 、低功耗和灵敏可编程的特色，适用于自然语言处理 、工业核算机视觉、 。自动驾驶 。等使用。此次与文心模型的成功适配 ，也为未来客户在选用E系列GPU构建本地AI使用奠定了坚实基础 。
早在此前 ，Imagination加由入百度飞桨建议的 “硬件生态共创方案” ，将飞桨的先进算法和灵敏性与 Imagination IP 技能相结合，为端侧开发者供给强壮支撑 。跟着边际核算需求的快速增长 ，Imagination将持续与百度深化协作，推进大模型在端侧设备的遍及与落地 ，一起打造更高效 、智能的本地AI体会 。
