如果不管模型会不会胡说八道,大模型理论上能拥有无限上下文吗?
显存、算力、框架、API 全部不设限,大模型能不能一直往下吃 Token?本文从 O(N²) Attention、KV Cache、Prefill / Decode、FlashAttention 与 PagedAttention 讲到 RoPE 长度外推,最后给出一个更值得追问的方向:长期 AI 需要的也许不是更大的桌子,而是书架和记忆系统。
#大模型#KV Cache#FlashAttention+2
为什么 128K 模型塞不进第 128001 个 Token?真正拦住它的可能根本不是模型
标称 128K 的模型到了第 128001 个 Token 常常不是「开始胡说」,而是直接拒绝。本文区分 Effective Context Limit 与 Hard Context Limit,从位置编码、RoPE、模型配置、vLLM 的 max_model_len 一路看到 KV Cache 与 GPU Kernel——拦住那个 Token 的通常是整套推理系统。
#大模型#RoPE#位置编码+2
上下文越长越好吗?为什么大模型“看得见”,却不一定“用得好”
资料明明全塞进了上下文,模型还是会漏信息、把废弃方案当成现行方案。本文拆开 Attention 的 Query / Key / Value,讲清楚 Distractor Interference、Needle in a Haystack、Lost in the Middle 与信噪比:找得到、分得清、连得起来、推得出来,是四种不同的长上下文能力。
#大模型#Attention#长上下文+2
128K 上下文到底是什么意思?大模型的“记忆容量”可能和你想的不一样
32K、128K、1M 这些数字常被直觉地当成大模型的「脑容量」,但 Context Window 描述的其实是另一件事。本文从 Context、Token 一路拆到 Context Window 与 Effective Context:它决定的是有多少资料能摆到模型面前,而不是模型有多聪明、或者永久能记住多少东西。
#大模型#Context Window#Token+2
Codex Microsoft Store版启动失败:三个同名 codex 和一个被忽略的 codex.exe
记录一次 Codex Microsoft Store 桌面版启动失败(Unable to locate the Codex CLI binary)的真实排查:同名 codex.cmd / codex.ps1 / codex.exe 的启动方式差异,如何用显式 CODEX_CLI_PATH 直连已验证的原生 codex.exe 恢复启动,以及 NVM 在其中扮演的角色。
#AI#Codex#Windows+2
Codex 的「调整方向」为什么让我惊为天人:从 Steer 看懂 Agent 是怎么工作的
从 Codex 的「调整方向(Steer)」按钮出发,扒开 Agent Runtime 源码,讲清楚 Agent Loop、pending input、turn/steer 与 turn/interrupt 的区别,以及 Steer/Queue/Interrupt 三种控制如何重塑人和长任务 Agent 的协作方式。
#AI#Codex#Agent+2
叫 AI 一声“宝贝”,它会变笨吗?——聊聊角色扮演、礼貌用语与 Agent 的注意力
从激活值与注意力机制出发,拆解“叫 AI 宝贝会不会变笨”的直觉误判:角色扮演改变的是计算轨迹而非切走参数,礼貌与情绪只是弱的 Steering Signal,真正要警惕的是顺从指令侵入事实判断,以及多轮 Agent 里的语气累积成 Context Overhead。
#AI#角色扮演#Prompt+2
从 Prompt 到 Graph:AI 圈是怎么一步步重新发明软件工程的
盘点 Prompt、Context、Harness、Loop、Graph 这五个 successively 出现的 AI 工程热词,拆解它们各自在解决什么问题,并说明 AI 开发的关注范围正从“怎么和模型说话”一步步外扩成“怎么设计一个能自主工作的完整软件系统”。
#AI#Agent#软件工程+1
语音还是键盘?重新思考我和 AI 沟通的方式
语音输入不只是“打字更快”——它减少了人在表达前对自己想法的那次过滤。文章借用信息检索的 Precision/Recall 与 Transformer 注意力机制,提出“探索态用语音、执行态用文字”的 AI 协作方式。
#AI#工作流#输入方式+1
Vibe Coding 里的两剂解药:第一性原理与对抗式审查
Vibe Coding 用久了,最大的坑不是 AI 不够聪明,而是它太听话。本文给出两剂解药:用「第一性原理」在开工前拆台、确认真正要解决的问题;用「对抗式审查」在完工后找茬、攻击自己的实现,避免沿着错误方向一路狂奔。
#Vibe Coding#AI 编程#Prompt 工程+1
Kokkoro
就让身为引导者的我,全力支持主人吧(OxO)
公告
欢迎来到我的博客!希望这里的内容能够帮助到你~
分类
标签
最新动态
站点统计
文章
44
分类
5
标签
110
总字数
121,250
运行时长
0
最后活动
0 天前
站点信息
构建平台
ESA Pages
博客版本
Firefly v6.15.6
文章许可
CC BY-NC-SA 4.0

当前页面没有目录