DeepSeek-R1的发布让大家度过了一个热闹的春节。DeepSeek用较低的成本,取得了跟OpenAI相同的效果,这也意味我们的客户可以私有化部署与OpenAI能力接近的基座大模型。
研华AIR-520 是一款支持4卡单槽GPU或2卡双槽GPU的桌面级LLM服务器,主要用于推理和微调两个方向。我们已经打包好3个推荐配置,便于大家直接选型。推荐配置如和您的应用有差距,也可灵活调配。
近半年来随着AI Agent的广泛使用,大家对LLM服务器的推理能力比较看重,在DeepSeek发布后,我们也使用AIR-520-L70A1 RTX 4000 ADA 4卡版主机,对工业客户最常用的DeepSeek-R1 32B、70B两个模型进行了测试。
系统配置:
DeepSeek-R1 32B 测试:
DeepSeek-R1 70B测试:
通过测试,我们可以看到AIR-520的优异表现。若客户对性能还有更高的要求,AIR-520还有高配机型选择。
工业客户在使用大模型应用的时候,除了算力的要求,客户会更看重,解决方案的安全、合规、稳定的特性。AIR-520整机通过了NVIDIA官方产品认证,是工业企业客户很好的选择。