📋 目录
1. 技术概述与核心理念
Taalas是一家2023年成立于加拿大多伦多的AI芯片初创公司,由前AMD高管与芯片架构专家组成,仅24人研发团队完成了核心技术与产品开发,累计获得3000万美元(也有说法2.19亿美元)融资。公司核心理念为"The Model is The Computer"(模型即计算机),彻底颠覆传统通用AI芯片的设计逻辑。
1.1 核心技术定位
Taalas的硬连线(Hard Wire)技术,本质是将LLM的Transformer神经网络结构与权重参数,直接转化为硅片上的固定硬件电路,实现:
- 模型权重硬连线:通过Mask Rom(掩模只读存储器)工艺,将量化后的模型权重直接编码在芯片金属互连层中
- 存算深度融合:将权重存储单元与乘法计算电路直接集成,数据无需离开存储单元即可完成运算
- 原位计算:在存储单元原位完成计算,从物理层面彻底消除数据搬运开销
1.2 首款产品HC1
HC1芯片专为Meta Llama 3.1 8B模型定制,采用台积电N6(6nm半节点)工艺制造,截至2026年2月已完成流片与功能验证,开放线上Demo与API申请通道。
2. 行业背景与技术痛点
当前AI大模型推理产业面临三大不可逾越的核心瓶颈:
💾 内存墙瓶颈
传统CPU/GPU采用冯·诺依曼架构,计算单元与存储单元物理分离。LLM推理中90%以上的延迟与功耗来自数据搬运(而非计算本身),HBM带宽成为性能核心天花板。
⚡ 能效比瓶颈
通用GPU为适配多样化场景,内置大量可编程单元与复杂指令集。针对LLM推理这种固定计算模式,硬件利用率不足30%,大量晶体管与功耗浪费在非计算环节。
💰 延迟与成本瓶颈
当前主流GPU单用户吞吐量普遍在200 tokens/s以下,单千tokens成本居高不下,无法支撑大规模C端AI应用。Agent、实时交互等场景要求延迟降至毫秒级。
| 场景类型 | HBM带宽需求 | 单位成本 ($/1M tokens) |
主要瓶颈 |
|---|---|---|---|
| Groq (SRAM架构) | 1200 GB/s | ~15 cents | SRAM存储密度低,无法容纳大型模型 |
| Cerebras (晶圆级) | 9000 PB/s (片上) | ~25 cents | 晶圆级成本极高,部署灵活性低 |
| NVIDIA H200 | 4.8 TB/s | ~8-10 cents | HBM产能垄断,价格昂贵 |
| Taalas HC1 (预估) | 接近0 (ROM存算一体) | ~7.6 cents | 模型固定,灵活性受限 |
3. Taalas HC1架构深度解析
3.1 硬件规格
3.2 整体架构设计
| 模块名称 | 面积占比 | 技术实现 | 核心功能 |
|---|---|---|---|
| Mask ROM核心区 | 90%以上 | 金属层掩模编码 | 固化Llama 3.1 8B模型结构与权重 |
| SRAM辅助区 | 约5% | 标准SRAM | KV Cache存储 + LoRA微调权重 |
| I/O接口区 | 约5% | 高速串行接口 | 芯片间互连与主机通信 |
3.3 核心运算机制："乘-选-加"
Taalas将传统的"乘-加"运算升级为专门适用于量化的"乘-选-加"机制:
Step 1: 预乘(Multiply)
将输入激活值预先与所有可能的权重取值相乘。例如采用2-bit量化,权重取值为
Step 2: 选择(Select)
设置交叉开关(Crossbar),每个交叉点用一个晶体管控制通断。根据实际权重值,从预计算结果中选择对应的乘积。例如若实际权重为x,则选择x×x的乘积。
Step 3: 累加(Add)
将选择出的乘积送入累加器,完成最终的矩阵乘法运算。这部分仍使用传统加法器,但由于消除了大量重复乘法,整体效率大幅提升。
3.4 掩模ROM实现细节
根据公开资料分析,Taalas的ROM实现基于两层金属掩模的通孔(Via)技术:
- 写人方式:通过光刻时对两层Via的通孔位置进行互补控制来表示0或1
- 密度优势
- 可编程性:后续硬件迭代仅涉及最上两层Metal Mask的改版(M8+ layer),而非重造整个Mask Set
3.5 存算架构特点
需要明确的是,Taalas方案中存算在结构上仍是分离的:
- 存储部分:Mask ROM存储权重原值(可能经过3/6bit混合量化)
- 运算部分:交叉开关阵列+累加器
- 数据流:权重逐行从ROM中读出→通过译码器转换为独热编码→控制交叉开关选择预计算结果→累加输出
4. 核心技术创新点
4.1 全模型硬连线的编译与映射技术
Taalas的核心技术壁垒之一是实现了从LLM模型到硬件电路的自动化映射:
- 自动化编译器:解析PyTorch/TensorFlow格式模型,自动完成模型量化、计算图优化、硬件逻辑映射、时序收敛,从模型交付到生成RTL仅需一周
- Transformer专用优化:针对Transformer特性完成硬件级流水线优化,将注意力计算、残差连接、层归一化等操作无缝融合到固定硬件通路,实现100%硬件利用率
- 混合量化方案:首代HC1采用自定义3位与6位混合量化策略,在保证精度损失可忽略前提下,大幅降低权重存储面积占用
4.2 两掩膜定制化敏捷开发
| 开发阶段 | 传统ASIC | Taalas两掩膜方案 | 效率提升 |
|---|---|---|---|
| 前端设计(RTL) | 6-9个月 | 自动化,1周 | ~24倍加速 |
| 物理设计(APR) | 3-4个月 | 仅重跑M8+M9层 | ~4倍加速 |
| Mask制作 | 全Mask Set (14-16层) | 2层Metal Mask | 成本降低约86% |
| NRE总成本 | 数千万美元 | 数百万美元 | 成本降低~80% |
4.3 无HBM的全芯片功耗与散热优化
- 功耗优化:摒弃HBM与高速接口电路,仅保留核心计算与存储单元,无效功耗降低70%+
- 散热简化:没有复杂指令调度与缓存一致性逻辑,动态功耗仅为同规模GPU的1/5,典型功耗250W(对比H100的700W)
- 基础设施简化:10片HC1组成的服务器功耗仅2.5kW,可在标准风冷机架运行,无需液冷
4.4 大模型集群化扩展技术
针对单芯片参数规模限制,Taalas开发了层间并行集群方案:
- 层间流水线:将万亿参数模型按Transformer层拆分到多颗HC1芯片,每颗芯片固化对应层
- 时序同步:硬连线的固定延迟特性完美解决多芯片并行时序问题,无需复杂调度软件
- 实测性能:30颗HC1组成集群运行DeepSeek R1模型,实现单用户12,000 tokens/s吞吐量
5. 性能数据与实测比较
5.1 核心性能指标
| 产品 | 工艺 | 单卡功耗 | 单用户TPS | 性能比 |
|---|---|---|---|---|
| Taalas HC1 | TSMC 6nm | 250W | 16,960 | - |
| Cerebras WSE | 7nm | - | 2,000 | 8.5:1 |
| SambaNova | 7nm | - | 900 | 18.8:1 |
| Groq LPU | 14nm | - | 600 | 28.3:1 |
| NVIDIA Blackwell | 4N | 700W | 350 | 48.5:1 |
5.2 成本效益分析
硬件成本
HC1采用TSMC 6nm裸片面积约815mm²,在100万美元流片成本后,每片成本仅增加几十美元。相比之下,NVIDIA H200单卡售价动辄数万美元,且必须搭配高价HBM。
运营成本
10片HC1服务器功耗2.5kW,对比H100 DGX服务器约10kW,功耗降低75%。标准风冷即可运行,无需液冷系统,进一步降低TCO。
单位成本
估算HC1约为7.6 cents/1M tokens,相比NVIDIA方案(8-10 cents/1M tokens)略有优势。但此估算未计入软件成本与HBM附加成本,实际部署成本可能更高。
5.3 试用体验
根据公开试用反馈,去除网络响应时间后,HC1几乎是按下按钮立刻获得答案。实测单用户15,530 tokens/s的"线速decoding",这种极速输出在当前AI产品中确实前所未有。
6. 技术局限性与核心挑战
6.1 数据量化格式限制
- 理论上可以支持MXFP4:scaling factor是2的指数,复杂度较低,移位后用整数加法器做pre-reduce
- NVFP4支持困难:用于FP8 Scaling的乘法器规模与MAC阵列基本相同,硬连线的能效/面积优势丢失
6.2 Attention机制处理难题
这是硬连线方案面临的最大技术困惑:
- Attention的Q、K、V都是在线生成的,如何预编排连线?
- 合理解释:Taalas立项时context length可能较短,这部分计算量小,可以挂载GPU/NPU来处理Attention
- 未解问题:当前尚无公开资料详细解释Attention机制在硬连线架构下如何高效实现
6.3 KV Cache存储介质问题
KV Cache无法用hardwires表示,必须使用存储器:
- Taalas提到使用SRAM fabric存储KV Cache,超过容量则多片互联
- 成本问题:现在主流MLA/DSA架构,带宽需求不大但容量需求极大。如果SRAM存储KV的成本比不过GPU+HBM方案,整体功耗与GPU就同水平了
- 内存墙绕不开:attention计算+KV cache存储问题不解决,性能上限就和GPU一样
6.4 通用性与迭代风险
| 挑战维度 | 具体问题 | 影响程度 |
|---|---|---|
| 模型迭代风险 | 单芯片仅能运行一款固化模型,大模型每月迭代,"出厂即过时" | ★★★★★ 极高 |
| 迭代成本 | 虽采用两掩膜方案,仍需约2个月周期和数百万成本 | ★★★★☆ 高 |
| 参数规模瓶颈 | 单芯片仅能承载8B参数,70B/100B模型需多芯片集群 | ★★★★☆ 高 |
| 软件生态割裂 | 缺乏通用编程接口,仅支持固定模型端到端推理 | ★★★☆☆ 中 |
6.5 商业模式挑战
7. 应用场景与未来展望
7.1 潜在应用领域
🤖 机器人技术
运动机器人最大问题是延迟。低功耗低负载场景下,机器人算力需求比LLM低很多,运动模型参数通常在~亿级别。针对性做一套用于机器人大参数模型,在相同功耗和负载下可以完成更好工作。
💻 个人计算
如果本地低成本运行、输出极快方案普及,放在PC/手机里,会在特定应用场景带来质变。例如Vibe Coding,极速输出的模型让开发效率提升数倍。
🎮 超分辨率
DLSS效果很好,硬连线可降低延迟和算力门槛,用chain of zoom做到更高倍数超分。产业化上,中低端GPU+超分辨率专用芯片可做到顶级GPU效果,价差在300美金以上。
7.2 技术演进方向
- 单芯片参数规模提升:第二代芯片支持最高200亿参数模型
- 量化方案升级:从自定义3/6位混合量化转向标准4位浮点量化
- 灵活性优化:通过可重构硬件设计,提升芯片对同架构不同版本模型的适配能力
- 电子束光刻应用:若能引入电子束光刻实现无掩膜通孔加工,芯片更新成本将大幅降低
7.3 适用场景边界
8. 产业影响与竞争格局
8.1 对AI芯片产业的影响
- 打破通用GPU垄断:在大规模固定模型推理场景,Taalas实现对GPU的性能与成本碾压,为AI厂商提供第二选择
- 推动存算一体落地:验证存算一体架构在大模型推理场景的可行性,带动全行业研发投入
- 降低AI部署门槛:推理成本降至GPU方案的1/20,推动AI大模型在更多中小场景落地
8.2 与其他技术路线对比
| 技术路线 | 代表公司 | 核心优势 | 主要劣势 | 适用场景 |
|---|---|---|---|---|
| 硬连线全模型 | Taalas | 极致专用,能效比最高 | 模型固定,灵活性差 | 固定模型大规模推理 |
| 纯SRAM架构 | Groq | 极高带宽,低延迟 | 存储密度低,成本高 | 低延迟场景 |
| 晶圆级引擎 | Cerebras | 算力规模极大 | 成本极高,部署复杂 | 大规模并行计算 |
| Transformer ASIC | Etched | 架构定制化 | 不支持其他模型 | Transformer专用 |
| 通用GPU | NVIDIA | 生态成熟,通用性强 | 能效比较低 | 通用AI计算 |
8.3 NVIDIA的天还没有塌
值得注意的是,NVIDIA已经处于"大顺风局",利用强大现金优势网络了全球顶尖架构/算法/软件团队(包括Groq)。随着Blackwell→Rubin→Feynman的迭代,当前初创NPU仅存的优势很可能被抹平。
9. 设计方法学与迭代策略
9.1 "Model2RTL→Silicon"自动化平台
Taalas宣称通过一套自动化设计平台,可以一周内完成IC前端设计。平台核心能力包括:
- 模型解析:直接解析PyTorch/TensorFlow格式模型文件
- 自动优化:完成模型量化、计算图优化、硬件逻辑映射
- RTL生成:自动生成RTL代码,支持多芯片集群RTL仿真
- 快速迭代:声称一周迭代vs NVIDIA两年迭代,100倍时效提升
9.2 方法学质疑
- 全栈工程师困境:这需要全栈工程师,但全栈思维是反人类的。解耦和专业化才是正常人的思维
- 规模化挑战:怎么能招到万人级的全栈工程师军团与NVIDIA抗衡?
- 复杂度递增:随着系统规模扩大(单卡→8卡→机柜→集群→跨集群),复杂度和长尾问题越做越多
9.3 从体系结构视角理解变革
从体系结构演进史角度看待Taalas:
"旧神迟暮,新主逐鹿。"我们正处于原教旨主义计算机体系结构的黄昏。曾经的体系结构大神,如Onur Mutlu,依旧勤勉如初,却再也站不到舞台中央了。而Taal这类曾被视作绝对异端的存在,正悄然改写着体系结构的认知边界。
当系统扩大到一定规模,追求绝对秩序与控制便不再可能,通过平衡与负反馈实现稳定代价会更低。人类社会是个直观类比:在S尺度的社会空间里,你更倾向于市场经济还是计划经济?
9.4 时间速差的消弭
AI改造社会的首个凸显问题,是数字世界与物理世界的迭代速率鸿沟:
- AI在数字世界的迭代速度正疯狂加速
- 但只要涉及与物理世界迭代互锁,这种速率差异带来的无力感便会油然而生
- 芯片的困境:7nm级别处理器芯片正常迭代周期长达24个月;而大模型每18个月贬值50%+"芯片迭代明显跟不上算法迭代"
- 不需要DFT(可测性设计) - 功能网络本身是测试用例
- 工程变量简化 - 热设计、可靠性问题坍缩为有限空间下的多项式求解
- 重塑流程和方法论,两个月是有机会的
9.5 "抛弃图灵完备性"的暴论
暴论:抛弃掉图灵完备性的机器,做起来是有可能快得可怕的。
当然,这套玩法无法孤立存在,研发和量产是两件事,后者需要整个产业链跟着改变配合。但Taalas至少证明了一条可行路径。
10. 结论
10.1 技术评估
Taalas HC1代表了AI推理芯片的一条激进技术路线,通过极端专用化实现了:
- 性能突破:16,960 tokens/s单用户吞吐,领先GPU 40-50倍
- 能效比提升:250W功耗 vs H100的700W,功耗降低64%
- 成本优势:估算7.6 cents/1M tokens,略优于GPU方案
- 架构创新:验证了硬连线方案在大模型推理场景的可行性
10.2 核心价值
- 证明了"模型=硬件"的技术路径可行
- 通过两掩膜方案大幅定制化芯片的开发周期和成本
- 为AI算力部署提供了GPU之外的第二选择
- 推动了存算一体等新型架构的研发和产业化
10.3 风险挑战
- 模型迭代风险:大模型快速迭代与硬件生产周期之间的矛盾难以调和
- 技术不完整性:Attention机制处理、KV cache存储等核心问题尚未有公开解决方案
- 生态建设困难:与CUDA等成熟竞争,需要建立全新软件生态
- 商业验证:能否实现规模化商业落地仍是未知数
10.4 未来展望
Taalas的技术最终可能不会成为主流(通用GPU的生态护城河难以撼动),但它确实代表了一种"回归本质"的思考:
- 从通用到专用:当应用场景足够确定时,极端专用化是最优选择
- 从抽象到具体:避免图灵完备性带来的冗余,直奔具体功能
- 从软件到硬件:让模型逻辑直接成为电路结构
这就好比你有一把瑞士军刀,什么活都能干,但每样都不精通。而Taalas做的是一把手术刀,专门用来剪纸,裁得比瑞士军刀快出100倍。当然,当要剪什么纸改变时,你需要换一把新刀,而且新刀要2个月才能做好。
10.5 最终评判
Taalas HC1是一个极具争议性的Proof of Concept。从技术角度看,它真实实现了一个当下多数人尚不能接受的愿景,找到了一条可行的技术路径。从商业角度看,它面临巨大挑战,能否成功取决于:
- 能否解决Attention和KV cache的技术难题
- 能否进一步降低定制化成本和周期
- 能否找到大规模、模型稳定的商业场景
- 能否建立独特的软件生态
本报告基于2026年3月的公开技术资料整理
资料来源:知乎专栏、Taalas官方技术访谈、专利文献、学术论文
整理时间:2026年3月