Pokee发布1000万Token模型，上下文接近主流模型10倍

【Pokee发布1000万Token模型，上下文接近主流模型10倍】金色财经报道，8月5日消息，AI Agent 创业公司 Pokee AI 发布 Pokee-Isaac 28B。模型参数总量只有 280 亿，上下文窗口却达到 1000 万 Token。目前主流模型的上限约为 100 万 Token，Isaac 接近它们的 10 倍。
Pokee 自测中，Isaac 在 RULER 长文本测试里，从 25.6 万到 400 万 Token 一直保持在 95 分上下。拉满 1000 万 Token 后，得分仍有 93.3。其余五款对照模型从 200 万 Token 起都没有返回可用结果。
Pokee 把超长上下文归因于自研的「非纯 Decoder-only 架构」，即没有完全沿用常见大模型的纯解码器结构。不过，技术报告没有公开具体架构、注意力机制和显存方案，外界暂时无法判断它究竟怎么做到的。
Pokee AI 成立于 2024 年，由前 Meta 应用强化学习负责人朱哲清创办。公司曾获得 Point72 Ventures 领投的 1200 万美元种子轮，高通创投和 Samsung NEXT 等参投。

原文链接：https://x.com/Pokee_AI/status/2084682445648216383