开源模型生态正在加速AI落地。
近日，Meta正式发布最新一代开源模型 Llama 3。腾讯云对外透露，其异构计算平台已全面支持Llama 3系列模型，为企业及开发者提供从基础设施到编排调度的智算产品矩阵全链路解决方案，该平台不仅具备快速部署的能力，还显著提升了性能和吞吐量，助力AI应用的快速落地与普及。
更快部署：HAI助力，3分钟快速创建Llama 3
随着大模型时代的到来，取得先发优势、优质的模型能力是构建AI应用核心竞争力的关键。为助力中小企业及开发者解决在AI应用上担心的敏捷部署、成本效益、数据安全等难题，腾讯云推出了全新的GPU应用服务产品——高性能应用服务HAI，不仅提供即插即用的便捷性，还支持AI模型在云端的私有化部署，确保在有丰富模型选择的同时，数据安全也能得到严格保护。
在Meta发布Llama 3后，腾讯云HAI第一时间支持了Llama 3的一键部署。仅需3分钟，中小企业及开发者便能轻松实现基于Llama 3的应用创作与开发，将其应用于智能客服、内容创作、文本分析等各种场景，从而提升产品竞争力或企业运营效率。
HAI 应用中心已支持 Llama3
从应用层面来看，腾讯云HAI提供一键即得的澎湃算力与常见环境，助力中小企业及开发者快速部署LLM、AI作画、数据科学等高性能应用，其原生集成配套的开发工具与组件，可大幅提高应用层的开发生产效率。此前HAI已成功支持ChatGLM系列、Stable Diffusion、Llama 2等丰富主流模型，同时支持Notebook、WebUI等多种图形化算力交互模式，以应用为核心有效降低了云原生AI应用落地门槛。
HAI还将继续拓展服务范围，支持更多高性能应用模板，为中小企业及开发者提供更丰富的资源和工具，真正实现“再小的个体，也能实现自己的AI想法”。
Llama 3在HAI上的运行效果
更强性能：全新实例Llama 3推理性能飙升2-10倍
在硬件层面，腾讯云推出的最新一代异构计算GPU实例PNV5b，围绕Llama 3等大模型场景进行深度优化，将AI推理部署性价比提升至新的高度。
Llama 3模型继承了 Llama 2 的优秀特性，通过采用 GQA 机制，有效降低大模型推理过程中的 KV cache 显存开销。PNV5b实例搭载了最新一代 GPU，单卡搭配 48GB 显存，在算力和显存匹配上做到了更好的平衡，为大模型推理提供了更优的性价比。同时，PNV5b 实例在整机架构设计上支持最大单机 8 颗 GPU 高效扩展，大幅提升分布式推理性能。
在 Llama 3 的推理部署测试中，在典型业务请求压力条件下，PNV5b 的推理吞吐对比上一代 PNV4 可提升 2-3 倍；而在极端请求压力测试下，性能可进一步提升至 10 倍。这意味着，PNV5b 实例能提供更好的性能扩展能力，让用户在面对大模型的业务洪峰时更加游刃有余。
除此之外，PNV5b 通过星星海服务器搭配最新一代 AMD CPU 平台，提供多种实例规格，可灵活匹配大模型推理、大模型精调、推荐系统等多种场景的实例规格需求。将为广大用户带来更贴合业务的AI模型训练和推理体验，为企业和开发者创造更多的价值。
更高吞吐：TACO加速引擎全新升级，全面适配Llama 3
在软件层面，腾讯云对TACO Kit计算加速进行了全面升级，推出了专门用于提高大语言模型推理效能的TACO-LLM加速引擎。通过充分利用计算资源的并行能力，TACO-LLM能够同时处理更多语言模型推理请求，已成功为多家客户提供了兼顾高吞吐和低时延的优化方案。
随着大模型的广泛使用，开源社区涌现出多个优秀的大模型推理框架，如vLLM，Text-Generation-Inference(TGI)，LightLLM等，它们的设计理念各具特色，可谓百花齐放，各领风骚。而在实测数据中，TACO-LLM 的表现均优于其他方案，在相同GPU硬件的前提下，推理吞吐性能最高提升78%。
全新TACO-LLM现已支持Llama 3系列模型，并与高性能应用服务HAI或全新一代异构实例PNV5b实现高效协同，显著提升了部署及推理效率，同时还支持分布式推理、动态Batching、Page Attention等多种特性，为用户提供更优质、更灵活的服务体验。
TACO-LLM 特性
在实际应用中，Llama 3在多个行业均表现优异，如显著提高了智能客服解决率，提升内容创作质量，准确提取文本分析信息等。
基于星星海自研服务器、分布式云操作系统遨驰，腾讯云正通过算存网一体的智算集群、高性能分布式训练和推理加速包以及多样化的算力调度形态，打造面向AIGC的高性能智算网络，持续加速全社会云上创新。
