当前位置:首页>新闻 > 红帽推出红帽AI 3,将分布式AI推理引入生产级AI工作负载

红帽推出红帽AI 3,将分布式AI推理引入生产级AI工作负载

红帽混合云原生AI平台简化AI工作流并提供全新强大推理能力,为大规模代理式AI奠定基础,助力IT团队与AI工程师更快、更高效地实现创新

中国北京– 20251015 –全球领先的开源解决方案提供商红帽公司近日发布红帽AI 3(Red Hat AI 3),标志着其企业级人工智能(AI)平台的重大升级。该平台融合了红帽AI推理服务器、红帽企业Linux AI(RHEL AI)和红帽OpenShift AI的最新创新成果,可简化大规模高性能AI推理的复杂性,帮助企业更轻松地将工作负载从概念验证推进至生产阶段,并提升AI应用相关协作效率。

随着企业逐步超越AI实验阶段,数据隐私、成本控制及多元模型管理等关键挑战开始凸显。麻省理工学院NANDA项目发布的《生成式AI鸿沟:商业AI现状》报告揭示了生产型AI的严峻现实:约95%的企业未能从约400亿美元的企业AI支出中获得可衡量的财务回报。

红帽AI 3致力于直接应对这些挑战,为首席信息官和IT领导者提供更一致、统一的体验,大幅提升其在加速计算领域的投资效益。该平台支持在混合多供应商环境中快速扩展并分布式部署AI工作负载。依托这一通用平台,企业可以提升智能体等下一代AI工作负载相关的跨团队协作效率。红帽AI 3基于开放标准构建,能够适配企业AI旅程的各个阶段,支持在任意硬件加速器上运行任意模型,从数据中心到公共云和主权AI环境,再到最远的边缘。

从训练到“实践”:向企业AI推理转型的浪潮

随着企业将AI项目投入生产,关注重点从模型训练与调优转向推理,即企业AI的“实践”阶段。红帽AI 3基于广受欢迎的vLLM和llm-d社区项目,结合红帽的模型优化能力,提供生产级大语言模型(LLM)服务,强调可扩展且经济高效的推理能力。

为帮助首席信息官充分释放高价值硬件加速的潜力,红帽OpenShift AI 3.0正式推出llm-d,该方案重新构建了大语言模型在Kubernetes中原生运行的方式llm-d可实现智能化的分布式推理,融合Kubernetes编排的成熟价值与vLLM的出色性能,结合Kubernetes网关API推理扩展NVIDIA Dynamo低延迟数据传输库(NIXL)DeepEP混合专家(MoE)通信库等关键开源技术,助力企业:

· 通过智能推理感知模型调度与解耦服务降低成本并提升响应速度

· 借助规范化的“Well-lit Paths”简化Kubernetes环境下的大规模模型部署,实现运维简易性与出色可靠性

· 通过跨平台支持实现出色的灵活性,在NVIDIA和AMD等不同的硬件加速器上部署LLM推理。

llm-d基于vLLM构建,将其从一款单节点高性能推理引擎,升级为分布式、一致且可扩展的服务系统。该系统与Kubernetes深度集成,旨在实现可预测的性能、可量化投资回报率,以及高效的基础设施规划。所有增强功能直接应对多变的大语言模型工作负载的挑战,并为混合专家模型(MoE)等超大规模模型服务提供助力。

协作式AI的统一平台

红帽AI 3提供统一灵活的体验,专为“构建生产就绪的生成式AI解决方案”所涉及的协作需求而设计。它为平台工程师和AI工程师提供统一平台来执行其AI战略,促进团队协作并统一工作流程,从而创造切实价值。新增功能聚焦于提升生产力与效率,帮助用户从概念验证顺利扩展到生产阶段,其中包括:

· 模型即服务(MaaS能力基于分布式推理构建,使IT团队能够充当自身的MaaS提供商,集中提供通用模型,并为AI开发者和AI应用提供按需访问。这有助于实现更优的成本管理,并支持因为隐私或数据原因无法在公共AI服务上运行的用例。

· AI中心赋能平台工程师探索、部署和管理基础AI资产。它提供了一个中央枢纽,包含精选模型目录(涵盖经过验证和优化的生成式AI模型)、用于管理模型生命周期的注册中心,以及可配置和监控所有在OpenShift AI上运行的AI资产的部署环境。

· 生成式AI工作室为AI工程师提供实践环境,使其能够与模型进行交互并快速原型化新的生成式AI应用。借助AI资产端点功能,工程师可轻松发现并调用可用模型及MCP服务器——这些服务器旨在简化模型与外部工具的交互方式。内置的实验平台提供交互式无状态环境,支持对模型进行实验、测试提示词、调优参数,适用于聊天和检索增强生成(RAG)等场景。

· 新增了经红帽验证和优化的模型,以简化开发流程。精选模型库包含热门开源模型(如OpenAI的gpt-oss、DeepSeek-R1)以及专用模型(如用于语音转文本的Whisper和用于语音助手的Voxtral Mini)。

为下一代AI智能体奠定基础

AI智能体有望改变应用的构建方式,而其复杂的自主工作流将对推理能力提出严苛要求。红帽OpenShift AI 3.0版本不仅通过其推理能力,更通过聚焦智能体管理的新特性与增强功能,持续为可扩展的代理式AI系统奠定基础。

为加速智能体创建与部署,红帽基于Llama Stack推出了统一API层(Unified API Layer,助力开发工作与OpenAI兼容的大语言模型接口协议等行业标准保持一致。此外,为推动更开放、互操作性更强的生态系统发展,红帽率先采用了模型上下文协议(MCP这项新兴的强大标准,该协议简化了AI模型与外部工具的交互方式,而这正是现代AI智能体的一项基础特性。

红帽AI 3基于现有InstructLab功能,推出了一套全新的模块化可扩展工具包,用于模型定制。该工具包提供专业化的Python库,赋予开发者更强的灵活性和控制力。该工具包依托开源项目构建,例如采用Docling进行数据处理,可将非结构化文档高效转换为AI可读格式。它还包含灵活的合成数据生成框架,并配备大语言模型微调训练中心。集成式评估中心有助于AI工程师监控并验证结果,使其能够轻松运用其专有数据,实现更精准、更具相关性的AI成果。

支持证言

红帽AI业务部门副总裁兼总经理Joe Fernandes

“随着企业将AI从实验阶段扩展至生产阶段,他们正面临新一轮的复杂性、成本与管控挑战。红帽AI 3提供企业级开源平台,有效减少这些阻碍。通过引入llm-d分布式推理及代理式AI基础支持等新功能,我们助力IT团队在任意基础设施上,按自身需求轻松实施部署下一代AI。”

AMD服务器和企业AI高级副总裁兼总经理Dan McNamara

“随着红帽将分布式AI推理推向生产阶段,AMD很高兴能为其提供高性能的基础支持。我们携手整合了AMD EPYC™处理器的卓越效率、AMD Instinct™ GPU的强大扩展性,以及AMD ROCm™软件堆栈的开放特性,助力企业突破实验阶段,实施部署下一代AI——在本地、云端及边缘环境中,将性能与扩展性转化为切实的业务价值。”

ARSAT首席执行官Mariano Greco

“作为阿根廷的连接基础设施提供商,ARSAT需要处理海量的客户交互和敏感数据。我们需要一种解决方案,既能实现从简单自动化到‘增强智能’的跨越,又能为客户提供绝对的数据主权保障。通过在红帽OpenShift AI平台上构建代理式AI平台,我们仅用45天就完成了从需求识别到上线投产的全过程。红帽OpenShift AI不仅帮助我们提升了服务质量、缩短了工程师处理支持问题的时间,更让他们得以专注于创新和新项目开发。”

IDC全球研究集团副总裁Rick Villars

“2026年将成为企业AI的转折点——从启动AI转型,转向要求投资能带来更多可衡量、可复现的商业成果。尽管早期项目侧重模型训练与测试,但真正的价值与挑战在于通过高效、安全且经济的推理,将模型洞察转化为实际运营能力。这一转变需要更现代化的基础设施、数据及应用部署环境,配备‘开箱即用’的生产级推理能力,以应对真实场景下的规模化与复杂性挑战,尤其是在代理式AI大幅推高推理负载的背景下。成功转型为AI驱动型企业的关键,在于构建统一平台来协调混合云环境中日益复杂的工作负载,而非局限于孤岛型领域。”

NVIDIA工程AI框架副总裁Ujval Kapasi

“可扩展的高性能推理,是下一代生成式AI和代理式AI的关键。红帽AI 3内置开源的NVIDIA Dynamo和NIXL技术,提供加速推理支持,打造统一平台助力团队快速从实验阶段过渡到大规模运行先进AI工作负载和智能体。”

关于红帽

红帽是开放混合云技术的领导者,为变革性的IT创新和AI应用提供可信、一致且全面的基础。红帽的云、开发者、AI、Linux、自动化和应用平台等技术产品组合,协助企业从数据中心到边缘跨环境部署任意应用。作为全球领先的企业级开源软件解决方案提供商,红帽积极投入开放生态系统和社区,解决未来的IT挑战。通过与合作伙伴和客户紧密协作,帮助他们构建、连接、自动化、保护和管理IT环境,并提供咨询服务以及屡获殊荣的培训和认证方案。

为您推荐
  • 广西一新娘,因“长得太美”而火出圈,网友:山窝里的金凤凰!
    2024-03-15
    在广西某个幽静的村落,一场盛大的婚礼成为了村民们茶余饭后的热议焦点。婚礼之所以如此引人瞩目,不仅因为它洋溢着浪漫与温馨的气息,更因为新娘那令人惊艳的容貌,仿佛一位踏月而来的仙女,让在场的每一个人都为之倾倒。新娘名为小梅,是一位土生土长的广西姑娘。她那双清澈明亮的大眼睛,宛如山间的一泓清泉,灵动而深邃。她那弯弯的眉毛,如同柳叶一般婀娜多姿,映衬着白皙如玉的肌肤,更显清丽脱俗。当她笑起来时,那灿烂的笑
  • 接连签约!南通将新增一批打卡地
    2024-03-15
    为全面落实全市“重大项目攻坚突破年”部署要求,2024年开年以来,全市文广旅系统主动作为、强势开局,推动文旅市场加快复苏,重大文旅项目如“春花绽放”般签约。截至目前,新签约文旅项目7个,总投资额24亿元。项目详情滨海酒店项目签约时间:2024年1月签约地点:启东市投资金额:10亿元项目介绍:滨海高端度假酒店项目位于启东市江海澜湾旅游度假区,由上海长甲集团投资建设,总投资10亿元,占地约370亩,将打造集高端度假酒店
  • 四川五日游旅游路线,四川游哪些美食,来四川如何规划行程
    2024-03-15
    四川,简称"川"或"蜀",省会成都,位于中国大陆西南腹地,自古就有"天府之国"之美誉,是中国西部门户,大熊猫故乡。四川今与重庆、贵州、云南、西藏、青海、甘肃、陕西诸省市交界。四川东部为川东平行岭谷和川中丘陵,中部为成都平原,西部为川西高原。这次出游是朋友推荐的一位四川当地旅行规划师小雅安排的,没有任何自费项目!从接站到住宿、交通、吃饭、门票等都是小雅安排,十分省心。真心推荐
  • 夫妻关系如何维持?寻找专属于你的婚姻幸福之路
    2024-03-15
    在《社会心理学》中提到了两个在现代生活中似乎无可辩驳的事实,一是亲密而持久的婚姻关系是幸福生活的标志;二是亲密而持久的婚姻关系正在减少。由此,人们必须付出努力才能防止爱情的衰退,这就像哈维说的:“‘用心照顾’我们的亲密关系能够使我们获得更长久的满足”,那么怎样才算是对亲密关系的“用心照顾”,也就是说我们应该如何维持夫妻关系,对此,同样在《社会心理学》中给出了一些建议:这些建议虽然有效,但又太过笼统
  • “微笑型抑郁症”患者突然自杀,亲朋好友无比震惊!这类悲剧其实可以预防
    2024-03-15
    我们写过不少关于“微笑型抑郁症”的文章。比如去年7月,一代天后李玟自杀身亡,几乎震惊了所有人!在大众心目中,她一直阳光、热情、爱笑,网友完全没想到她会自杀。她的离世,令不少人开始了解“微笑型抑郁症”。
  • 吃“裸碳水”升糖快,不妨给它加层衣服
    2024-03-15
    你是否听说过“裸碳水”?它是由简单碳水化合物组成的食物,不含脂肪、蛋白或纤维,比如加工食品、糖果、白米饭及含糖汽水等。与全谷物豆类等复合碳水相比,它极易消化并导致血糖飙升,易导致肥胖、二型糖尿病或心脏病。Verywell网站发文称,目前有很多减肥策略要求低碳水,这会走入另一个极端。无论是裸碳水或是复合碳水,都会在体内转化成葡萄糖,这是大脑最青睐的热量来源,对大脑活动以及人体功能非常重要。来源 / unsplash不
  • 天津男篮主场胜四川 李荣培高难度跳投
    2024-03-15
    3月10日,天津先行者队球员李荣培(中)在比赛中投篮。新华社记者 赵子硕 摄当日,在2023-2024赛季中国男子篮球职业联赛(CBA)常规赛第41轮比赛中,天津先行者队主场113比93战胜四川金强队。3月10日,天津先行者队
  • 新疆男篮主场击败北控 阿不都沙拉木突破
    2024-03-15
    3月10日,新疆伊力特队球员阿不都沙拉木(中)在北京控股队球员刘晓宇(右)、陈国豪的夹击防守下突破上篮。新华社记者 胡虎虎 摄当日,在2023-2024赛季中国男子篮球职业联赛(CBA)常规赛第41轮比赛中,新疆伊力特
  • 辽宁本钢胜深圳马可波罗 韩德君篮下强吃
    2024-03-15
    3月12日,辽宁本钢队球员韩德君(左二)在比赛中上篮。新华社记者 潘昱龙 摄当日,在2023-2024赛季中国男子篮球职业联赛(CBA)常规赛第42轮比赛中,辽宁本钢队主场109比98战胜深圳马可波罗队。3月12日,深圳马可波罗队球员萨林杰(左)在比赛中拼抢篮板球。新华社记者 潘昱龙 摄3月12日,辽宁本钢队球员张镇麟(中)在比赛中上篮。新华社记者 潘昱龙 摄3月12日,辽宁本钢队球员张镇麟(左上)在比赛中投篮。新华社记者 潘昱龙 摄3
  • 《谢谢你温暖我》央八首播,流水账记事,故事性差,李兰迪演技好
    2024-03-15
    3月9日,电视剧《谢谢你温暖我》在央八单集首播,在腾讯视频5集更新。基于目前已经上线的剧情内容来讲,这部电视剧在叙事上,过分流水账了,显然不足以用故事性吸引观众。在演技方面,李兰迪确实是该剧的加分项。收视率方面,后续来讲,该剧成绩应该不会好。这部电视剧的剧情梗概已经提前把主线故事亮明了,男女主角谈恋爱之后,男主角生病了,女主角不离不弃照顾男主。这当然是一个很有价值的主线,男女朋友之间,夫妻之间,相濡