博亚体育

博亚体育

博亚(中国)体育app 存储"黑科技"之IBM CAS: 单机承载千亿级向量数据库, 冲突 "1% 数据困局", 终了企业级 RAG 限度化

发布日期:2026-05-20 14:26 来源:未知 作者:admin 浏览次数:

博亚(中国)体育app 存储"黑科技"之IBM CAS: 单机承载千亿级向量数据库, 冲突 "1% 数据困局", 终了企业级 RAG 限度化

北京2026年5月19日--最近,IBM究诘院与英伟达(NVIDIA)、三星共同展示了一项实践感知存储系统(contentawarenessstorage)[1]。该系统在单台作事器上收效支合手千亿级别向量的存储与检索,平均查询蔓延为694毫秒,调回精度达90%。系统硬件组合为IBMStorageScaleSystem6000全闪存成立、六颗英伟达H200GPU以及48块三星30.72TB容量的PCIeGen5NVMe固态硬盘。IBMStorageScaleSystem6000全闪存成立将缱绻与存储解耦,并通过英伟达H200GPU加快索引重建,将本来基于CPU需耗时数小时的索引构建过程,裁汰至GPU上的数分钟。

冲突“1%数据困局”,让AI走向数据

咱们沿路来望望IBM是如何用单机终光显现时大集群才能终了的斥逐。

今天,大模子版块平均数天便迎来一次更新,RAG(检索增强生成)已成为挖掘非结构化数据价值的中枢。企业CIO大皆濒临中枢课题:如何借助通用东说念主工智能(AI)与AI智能体终了日常运营提效?如何依托现存IT资源输出精确、高价值的业务决策?

高质料AI搪塞的中枢前提,是模子可高效触达原始真确数据,而检索增强生成(RAG)恰是优化推理斥逐、训诲搪塞准确性与时效性的要害期间。关联词,当向量数据量激增至数十亿级别时,CIO们濒临到了传统全内存向量索引决议的容量与本钱窘境。飞涨的DRAM价钱、抗拒稳的货期和数据在CPU与存储间时常搬运形成的"内存墙"与"IO墙"瓶颈,正严重制约着AI应用的限度化落地,企业在落地过程中大皆遇到四大痛点:

非结构化数据类型纷乱,仅1%数据能被AI灵验应用并创造价值;

数据失真与模子幻觉为企业带来合规与决策风险;

RAG经过激发多副本冗余、数据反复传输,本钱居高不下;

面向PB级海量数据时,传统架构性能瓶颈突显,难以限度化落地。

冲突"1%数据困局",让AI走向数据

当下企业被海量非结构化数据包围,PDF、邮件、音视频、演示文稿、财务报表等数据合手续增长,但能被大模子调用并产生价值的占比不及1%。

RAG期间通过数据向量化、优化批量刷新周期、依托GPU集群终了散播式处理,可冲突数据探问适度,让AI隐秘更平时的数据着手。而IBMStorageScale的中枢突破,在于摈弃"数据迁徙至AI"的传统模式,终了"AI走向数据"的全新范式。浅陋的说,即是CAS期间径直在存储层作念文档的索乞降向量化(以致集成了NVIDIA的微作事)终光显让AI走向数据,即让AI快速定位合规、洁净的可用数据,从起源斥责模子幻觉风险,这一智力依托IBMCAS实践感知存储(Content-AwareStorage)期间终了。

AI存储新范式:CAS将向量处理下千里至存储层

CAS的颠覆性翻新,是让存储系统从被迫"数据仓库"漂流为主动"AI参与单位"——存储不再仅保存数据,而是对数据项进行量化判辨,将本来由向量数据库承担的文档向量化经过,从应用层径直下千里至存储层。

IBMCAS

庸俗来讲,传统RAG需先将数据从存储取出,在外部完成向量化后导入向量数据库;而CAS可在存储系统里面完周详经过处理,数据无需迁徙、无需拷贝。

开云kaiyun体育(中国)官网

该期间源于IBM究诘院在当然言语处理、向量镶嵌模子、硬件加快领域的弥远期间积聚。文档数据索求经过深度整合基于NVIDIANIM构建的NVIDIANeMoRetriever微作事(隶属于NVIDIAAIEnterprise),博亚体育app官方网站确保AI助手与AIAgent基于最新、最干系的高下文搪塞,简化RAG运维、训诲AI应用业务价值。

IBMStorageScale(原GPFS)为企业构建全局和谐数据平台,在多站点、多云、数据中心与角落环境间打造单一定名空间,兼容第三方存储,冲突数据孤岛,终了全域数据和谐探问。CAS手脚StorageScale的全新AI增强智力,助力企业从现存数据钞票中挖掘更大价值,显耀训诲RAG准确性、减少模子幻觉,让AI模子无需再行检察即可同步最新数据,适配科研、客户作事、常识型应用等企业级场景。

企业级RAG限度化:冲突性能瓶颈,加码安全合规

市面主流向量数据库接济百亿级向量,时常需要数十乃至上百台作事器,节点限度蔓延后,散播式索引同步、故障复原、扩容迁徙等问题频发,运维与本钱压力重大。

IBMStorageScaleSystem

IBMStorageScale存储决议终了单作事器承载1000亿向量,按企业典型文档场景测算,可全面隐秘PB级至数十PB级非结构化数据,为企业CIO带来四大中枢价值:

基础顺次本钱指数级下落:无需部署数十乃至上百台向量数据库作事器;

运维复杂度大幅斥责:单一存储集群即可接济全经过RAG需求;

企业级及时性保险:端到端蔓延低至694毫秒,闲散中枢业求及时条款;

数据安全智力强化:接管原始数据源权限管控体系,聊天机器东说念主搪塞等生息数据和谐革职安全政策。

底层中枢上风:数据飞速处理、无需迁徙,检索与缱绻在数据存储位置径直完成,自然契合数据合规与安全管控条款。

单作事器承载千亿向量的期间底气:中枢依托IBMStorageScaleSystem6000全闪存存储一体机:单节点成立48块NVMe盘,搭载PCIeGen5与400GbInfiniBand高速互联,结伙NVIDIAGPUDirectStorage期间,终了GPU径直探问SSD数据,跳过CPU数据搬运时局。

系统将超大限度索引拆分为多个孤独子索引,各子索引可孤独优化、孤独重建、互不侵略,绝对措置传统向量数据库"牵一发而动全身"的重构痛点。

实测数据对比:纯CPU环境下,千亿级向量索引重建需120天;搭载6块NVIDIAH200GPU的IBMStorageScaleSystem6000,仅需4天即可完成。

结语

东说念主工智能期间,存储的变装被再行界说。IBM给出明确谜底:存储不应成为AI瓶颈,而应是AI基础顺次的中枢加快器。

本次决议提供纯软件版与一体机版两种委用花式,全面兼容RHELAI开源数据活水线,深度集成NVIDIAAIDataPlatform,是可径直落地坐褥环境的企业级措置决议。

以IBMStorageScale为中枢的AI存储决议,正在让PB级企业RAG从期间构念念变为现实。RAG的限度上限,不再受限于向量数目与存储性能,而取决于企业可触达、可应用的数据界限。

[1]IBMIntroducesContent-Aware-StorageforRAGWorkloads,Storagereview,April22,2026.

IBMCorporationlogo.博亚(中国)体育app