跃昉科技突破RISC-V计算边界,DeepSeek大模型本地化运行

来源:东方网
2025-03-07 15:01:51
分享

边缘AI新突破,从“云端排队”到“私人Co-Pilot”

近日,国内领先的RISC-V架构SoC芯片公司跃昉科技宣布,其自主研发的AI Mini Computer AMC 成功实现DeepSeek系列蒸馏模型的本地化运行,以U盘形态重塑了AI计算方式。基于RISC-V架构的开放性和AMC本地化计算能力,跃昉科技让AI计算由传统的云端模式迈向边缘端,使普通电脑秒变AI工作站,让AI随时待命,为用户提供高效的智能助手(Co-Pilot)。

这一创新降低了AI计算的使用门槛,并在数据安全、本地推理和个性化应用方面展现潜力。用户无需再受网络限制或云端排队影响,即可享受稳定的AI体验,让AI真正融入日常工作与生活。这无疑再次验证了RISC-V架构在AI计算领域的潜力,展现了其开放、灵活、高效的优势,为边缘端智能计算拓展了更多空间。

AMC 实拍 | 口袋里的专属智能助手

RISC-V助力边缘 AI 计算,迈入本地化新阶段

长期以来,AI计算主要依赖云端,但算力成本、网络延迟及数据隐私等问题限制了其在边缘端的应用。跃昉科技基于自研RISC-V架构芯片,打造了AMC低功耗计算设备,并初步验证了其在边缘端运行轻量级AI模型的能力。AMC具备以下核心优势:

即插即用:可通过USB直连,无需服务器,快速完成环境部署,用户体验更便捷。

超低功耗:仅3W功耗,在边缘计算场景下兼具节能和高效的优化潜力。

网页本地化访问:相比云端排队、等待响应,你的AI助手随时在线。目前已在AMC上成功运行部分轻量化AI模型,但计算能力仍有限,适配更复杂任务的模型仍在开发中。

本地私有知识库:保护数据隐私,随身携带,安全可控。目前仍处在开发验证阶段,未来将推出本地私有知识库方案,增强数据隐私保护。

目前,AMC主要适用于轻量化AI推理,仍在不断优化模型适配能力,以支持更复杂的AI任务。

已经实际部署运行成功的模型

UI 界面:设计简洁直观,用户可快速上手,无需复杂配置,Less is More!

OTA+ 场景化模型,开启边缘AI计算新范式

在推动DeepSeek系列蒸馏模型在AMC本地化运行的过程中,跃昉科技还提出一个全新的边缘AI计算应用概念——“OTA(Over-the-Air)+场景化模型”。目前正在进行相关技术验证,以评估其在边缘AI计算中的可行性:

场景化模型适配:针对教育、工业、办公、个人助手等不同场景,训练更精巧的 AI 模型,以适配本地场景化的应用需求。

OTA动态部署:设想是突破传统OTA仅用于软件升级的局限,AMC可按需拉取和更新最适合当前应用场景的AI模型,优化边缘设备的智能交互体验。

开放生态构建:希望打造可订阅、可迭代的模型市场,促进开发者和用户形成良性互动,推动AI计算生态持续优化,目前仍在规划阶段。

这一全新计算模式不仅有望降低用户的AI使用成本,同时也为开发者提供了更大的创新空间,让AI从“大而全 ”向“小而精 ”转变,真正实现按需适配、精准计算。

AI 成为个性化的智能伙

AMC的便携性与在计算能力方面展示出的潜力,使其不仅仅是一款AI计算设备,更有望成为用户长期成长的智能伙伴:

离线运行,随时调用:无论是在办公、学习还是工业应用场景,AI即插即用,不受云端依赖的限制,但完整大模型推理能力仍在测试中。

数据存储与回传:AMC具备32GB本地存储,可将使用过程中的数据本地化存储,同时支持同步至个人主机,形成用户专属的AI记忆。但目前知识库储存与数据同步功能仍在研发阶段,后续将视技术进展进行优化。

个性化成长:未来AI可长期学习用户的知识、经验和决策方式,逐步形成个人数字孪生(Digital Twins),让AI真正理解用户需求,成为长期的智能助手。

这一模式使AI助手不再是千篇一律的通用工具,而是可以随用户需求不断优化,逐步形成个性化智能助手,提升日常工作与生活体验。

推动 RISC-V架构在边缘AI计算的应用探索

跃昉科技始终致力于RISC-V架构在AI计算、边缘计算及智能互联领域的创新融合,并通过AMC这一产品形态,尝试推进边缘端大模型推理的可行性。目前,部分功能仍处在开发或概念验证阶段,但跃昉科技将继续围绕低功耗、高效能、场景化AI计算进行深度优化,推动边缘AI计算生态的持续演进。

未来,AI计算不应仅存在于云端,而是应成为一种更普惠、更个性化、更灵活的智能能力,赋能千行百业。跃昉科技将持续探索“OTA + 场景化模型 ”的应用,推动边缘AI计算的优化升级,助力AI计算向更灵活、更个性化的方向发展。

注:目前部分功能仍处在研发或概念验证阶段,如AMC适配的AI模型主要为轻量级模型,完整大模型推理能力仍在优化中;OTA场景化模型、知识库存储等功能仍在研发和概念验证阶段,未来将根据技术进展逐步探索落地。部分功能如本地网页访问仍处于测试阶段,性能和用户体验仍需进一步优化。本文中提及的功能和应用方向部分仍为探索性内容,具体技术进展将依据研发进度持续更新。

分享