标签:推理引擎
破解国产芯片FP8及DeepSeek部署难题,清华团队开源“赤兔Chitu”大模型引擎
清华大学高性能计算研究所翟季冬教授团队与清程极智联合宣布开源大模型推理引擎“赤兔Chitu”,该引擎首次实现在非英伟达Hopper架构GPU及各类国产芯片上原生运...
FP8模型不再挑卡!DeepSeek推理成本减半速度翻番,清华团队开源「赤兔」推理引擎
「国产大模型 + 国产引擎 + 国产芯片」的完整技术闭环正在加速形成。随着 DeepSeek 引燃市场对于大模型私有化部署的热情,模型部署的效率与成本成为企业 AI ...
AI Coding 赛道全景解析:玩家有哪些?新机会在哪里?
AI Coding领域正成为AI行业的热门赛道,多个产品如Github Copilot、Cursor等实现了快速的ARR收入增长。LLM作为推理引擎,在coding领域表现出色,因为代码逻辑...
贾扬清质疑 Groq CEO “其芯片价格接近免费”说法,前员工出来实锤:根本不切实际!
文章总结:在人工智能领域,随着ChatGPT和Sora的出现,我们正从深度学习时代转向生成式人工智能时代。在这个过程中,芯片成为了科技巨头们争夺的关键。近期,...