研华正式宣布国产化昇腾AI Box与Deepseek R1模子安排全流程！

跟着深度求索（DeepSeek）年夜模子的宣布激发行业热议，研华科技基于昇腾Atlas平台边沿AI Box MIC-ATL3S正式宣布与Deepseek R1模子的安排流程。该平台依靠昇腾芯片的强盛异构盘算才能，联合研华边沿AI Box高牢靠特色，经由过程模子轻量化、算子适配等技巧实现年夜模子边沿端安排。本文援用地点：硬件安排■ CPU：Atlas 310P□ 10个DaVinciV200 AI core，主频最高达1.08GHz□ 16个64位TaishanV200M处置器核，核主频最高1.9GHz□ 8个DaVinciV200 Vector core，主频最高达1GHz■ 内存：24G LPDDR4■ AI算力：176TOPS INT8■ 操纵体系：OpenEuler■ 模子：DeepSeek-R1推理模子依据MIC-ATL3S硬件规格，咱们拔取了DeepSeek-R1-Distill-Qwen-1.5B这个精度跟对硬件设置请求绝对均衡的蒸馏模子停止适配跟安排。安排步调昇腾310P + openEuler22.03安排deepseek-R11.???? 装置驱动包以及CANN前去昇腾社区获以后芯片版本的驱动、FW、以及CANN（昇腾异构盘算架构）driver：Ascend-hdk-310p-npu-driver_xxxxx_linux-aarch64_chip-enable.runFirmware：Ascend-hdk-310p-npu-firmware_xxxxx_chip-enable.runCANN：Ascend-cann-toolkit_xxxxx_linux-aarch64.run2.???? 装置依附组件3.???? 装置mindspore?（昇思模子框架）4.???? DeepSeek-R1模子拉取拉取模子指令，以1.5B为例yum install git-lfs -ygit lfs installgit clone?https://ai.gitee.com/hf-models/DeepSeek-R1-Distill-Qwen-1.5B克隆实现示比方下，包括HF完全的堆栈：5.???? 模子转换下载后的模子为safetensors格局，还不克不及直接应用，先用transformers转换为ONNX格局，再应用atc转换为OM(昇腾)格局才干应用。创立python剧本将safetensors格局转换为ONNX格局，终极转换为OM格局。履行剧本后会天生对应模子文件，天生对应格局模子文件?履行：Python3 convert.py./convert.sh最后，须要用一个简略的python剧本去做互动窗口，运转指令：python3 deepseek_r1.py示例：总结：现在研华停止MIC-ATL3S适配更多Deepseek模子，以及与生态搭档开展详细利用场景测试，后续咱们会连续颁布研华平台产物的安排 测试内容，敬请存眷。研华昇腾310系列边沿AI平台研华基于昇腾Atlas 310系列平台开辟出三款差别状态的边沿AI产物：产业尺度化AI模组、边沿AI开辟套件以及边沿AI盒子。此系列产物算力高达176 Tops，专一于产业场景下的细分利用。同时，在软件方面，研华聚焦底层开辟，按期更新SDK套件以满意客户的开辟需要，并自立研发产业范畴近程安排跟治理东西。