快科技8月22日消息,据相关报道,随着AI应用从模型开发阶段迈向大规模部署,推理算力的需求正以空前速度增长。不过,国产AI芯片在处理编码等复杂推理任务时仍有提升空间,这使得国内AI企业在有限的英伟达芯片供应中,不得不精打细算地分配算力资源。
趋境科技副总裁关嘉伟近期对媒体表示,推理市场已呈现出明显的分化态势。高质量Token的供给远跟不上需求,高端任务对性能的要求极为苛刻,国产处理器目前尚难以稳定胜任。
尤其在编码这类场景中,用户愿意支付更高的费用,而这些高价值任务目前仍主要依赖英伟达芯片。
正是这种供需失衡,直接抬高了英伟达芯片的租赁价格。据趋境科技数据,英伟达H200芯片的月租赁价格已从2025年第三季度末的5万至8万元人民币,上涨至今年早些时候的10万元以上。
Token用量的爆发式增长是需求端的主要推动力。最新统计显示,我国日均词元调用量在2026年6月已攀升至接近175万亿,相比2024年初增长了超过千倍。
面对严峻的供应压力,中国AI企业不得不寻求技术上的突破。月之暗面设计了一套面向异构推理场景的数据传输库,能够实现英伟达H20与华为昇腾910B芯片之间的高效数据交换。
趋境科技则采用了“异构P/D分离”技术,让昇腾910B处理请求的初始阶段,而英伟达H20负责最终的响应生成。趋境科技的推理引擎KTransformers已成功在单张RTX 4090上运行DeepSeek完整版模型,成本降低了10至20倍。

【本文结束】如需转载请务必注明出处:快科技。
责任编辑:红茶。