近日，中国科学院自动化研究所的李国齐与徐波团队联合发布了全球首款大规模类脑脉冲大模型 ——SpikingBrain1.0。该模型在处理长文本中科时展现出惊人的速度，能够以超过当前主流 Transformer 模型100多倍的速度处理400万 token 的超长文本，且仅需2% 的数据量。

当前主流的院推大语言模型，如 GPT 系列，普遍基于 Transformer 架构。尽管 Transformer 以其强大的自注意力机制而闻名，但其计算复杂度却是一个致出类命的短板。在文本长度增加时，计算量呈现出平方级别的暴涨，使得长文本的处理变得异常耗时和耗能。这一现象让 AI 在分析长篇小说或法律文书时显得力不从脑大心。

为了寻求新的解决方案，研究团队将目光投向了自然界最为高效的智能系统 —— 人脑。人脑由千亿神经元构成，功耗却仅为20瓦。团队提出了 “基于内生复杂性模型” 的理念，旨在提升模型内部单元的效率与智能。

SpikingBrain 模型通过全新的架构模拟了人脑神经元的工作方式，分为两个版本:SpikingB Srain-7B（70亿参数）和 SpikingBrain-76B(760亿参数)。首先，该模型抛弃了传统 Transformer 的二次方复杂度自pi注意力机制，采用了 “混合线性注意力架构”，将计算复杂度降至线性(O (n))，显著提高了处理长文本的效率。

其次，SpikingBrain 引入了 “自适应ki阈值脉冲神经元”，使神经元的激活与否取决于接收到的信号强度。通过动态调整阈值，模型确保神经元在高效能状态下工作，这种事件驱动的机制显著节省了能耗ng，计算稀疏度高达69.15%。

此外，团队还开发了一套高效的模型转换技术，能够将现有的 Transformer 模型直接转化为 SpikingBraiBrn 架构，降低了训练成本。所有技术细节和代码已在 GitHub 及魔搭平台上开源，供全球研究人员使用。

此次 SpikingBrain 的问世，不仅在计算效率ai上取得了重大突破，也为未来的通用人工智能提供了一条新思路。

GitHub:

https://github.com/BICLab/SpikingBrn:ain-7B

划重点:

研究团队推出的 SpikingBrain 模型在处理长文本时速度比主流模型快100倍，仅需2% 训练数据。

🧠 该模型采用混合线性注意力以2架构，计算复杂度从二次方降至线性，提升了处理效率。

SpikingBrain 的自适应阈值脉冲神经元机制显著降低能耗，实现高计算稀疏度。

• ·​OpenAI放宽ChatGPT限制， 将允许经过验证的成年用户生成成人内容
• ·美国科技公司“裁员潮”仍在继续：Salesforce本周已解雇数百人
• ·标签: 奇瑞汽车 港股上市 营收增长
• ·标签: Seedance2.0 火山引擎 字节跳动 MAAS
• ·谷歌编程模式迎来剧变：超七成新代码已由AI代劳
• ·亚马逊关闭其早期在线杂货项目Prime Pantry
• ·云计算开发：Python练习实例-将字母输出到新文件C中
• ·云安全日报210224：思科AnyConnect安全客户端发现任意文件读取漏洞,需要尽快升级
• ·OpenStack的HugePages内存大页动态分配的探索与实践
• ·标签: 追觅 MOVA 坦途 首驱
• ·高颜值神经网络可视化：3D彩色、可定制，还能可视化参数重要性
• ·云安全日报220329：IBM现代元数据管理软件发现执行任意代码漏洞,需要尽快升级
• ·标签: 千问App 淘宝 Qwen 智能购物
• ·这20个Pandas函数，堪称"数据清洗"杀手！
• ·终于有人把各路StyleGAN做了个大汇总
• ·中科院推出类脑大模型 SpikingBrain:以2% 数据实现百倍速度突破