大模型上下文窗口突破百万级，AI从金鱼记忆走向过目不忘
大型语言模型的上下文窗口长度突破100万token，标志着AI处理信息的方式发生了根本性转变，使其从只能进行短时对话的工具，演进为能够完整理解和分析海量复杂文档的强大引擎。
百万Token意味着什么
100万token的上下文窗口是一个惊人的数字。以英文为例，这约等于75万个单词，相当于J.K.罗琳《哈利波特与魔法石》全书内容的2.5倍。
此前，主流模型的上下文窗口大多在8k到32k token之间，最前沿的商业模型如Anthropic的Claude 2.1也仅达到200k token。从32k到100万，这不仅仅是30倍的数量提升，更是能力的质变。
具体应用场景
谷歌的Gemini 1.5 Pro在其技术演示中，成功处理了一份长达402页的阿波罗11号任务登月文件，并准确回答了其中关于特定时刻的细节问题。
对于开发者而言，这意味着可以将一个拥有数十万行代码的完整代码库直接输入模型，让其进行全面的代码审查、漏洞分析、重构建议或文档生成。