生物学启发视角下的大模型 笔者对生物学知之较少，所述之处若有不严谨的地方还请斧正 笔者最近阅读了有关 vLLM 中解析 工具调用(ToolCall) 和 思考强度(ThinkingEffort) 的实现，对大模型的认知有了一些新的理解，于是便想着把自己这些年对大模型断断续续的思考写一篇有意思的文章。 个人写文章的契机也是因为在AI时代下，被看见的能力变得非常重要，于是也只能拾起生涩的笔头，让自己试着去做一些长篇输出，同样也作为个人的思考整合。 “大模型表现出若干与生物系统同构的组织原则” 相信你会疑惑，生物和科技两个看起来风马牛不相及的领域是如何具有同构性的。 首先，我们可以查看维基百科里有关生命的定义： 恒定性：能够调节体内环境以维持身体处于一个相对恒定的状态，例如恒温动物能发汗来降低过热的体温，也能靠发抖来产生额外的热量以保持体温。 组织性：由一个或以上的生物基本单位──细胞所组成。 新陈代谢：能够转换非生物为细胞成分（组成代谢）以及分解有机物（分解代谢）来获取和转化能量。生物体需要能量来维持体内平衡及产生其他生命现象。 生长：使组成代谢的速率高于分解代谢的速率来让细胞体积增大，并在细胞分裂后使细胞成长。一个生长中的有机体增加其细胞的数量和体积，而不止是将得到的物质积存起来。某些物种的个体可以长得很巨大，例如蓝鲸。 适应：对环境变化作出反应的能力，与生物当前的身体构造、生活习性及遗传有关。这种能力对生存是很重要的。生物可以通过进化适应环境。 感应：反应可以以很多方式进行，从单细胞变形虫被触碰时的收缩到高等生物在不同情况下的复杂反射。最常见的反应是运动，例如植物的叶片转向太阳以及动物追捕其猎物。 繁殖：能够产生新的个体。包括只需一个亲本的无性生殖和需要至少两个亲本的有性生殖。 好复杂的定义！不过别慌，我们慢慢来。 我们先假设大模型是一个「赛博生物」——暂时把有关的哲学辩论抛去，而是纯粹从生物学的角度出发去看待大模型的发展。 生命有七个特征，但恒定性、组织性、新陈代谢这三个特征在生物领域和大模型领域的映射，笔者没有能力去讲好。因此本文只聚焦笔者能说得清的：生长、适应、感应、繁殖。 同时，如果有同学当前仍在坚持手敲代码的话，那么如果你研究过当前使用的编程语言的话，大概率会遇到「鸭子类型」这个概念，我们这里也摘出来使用，其不严谨的概念表述如下： “When I see a bird that walks like a duck and swims like a duck and quacks like a duck, I call that bird a duck.” — Commonly attributed to James Whitcomb Riley (1849–1916) 也就是说，当一只鸟它在各种程度上都表现出来鸭子的特征时，我们这时便可将其视作一只鸭子。 PS:有一个有意思的论文也用到这个概念《AI Wellbeing: Measuring and Improving the Functional Pleasure and Pain of AIs》 Read more...

这里记录着我个人对 LLM Agent 的 Ideas 最近的工作 最近，我自己编写了一个给自己用的 CLI 工具 (OMG CLI) 设计这个 CLI 的时候大范围借鉴了 kimi-cli 而关于 CLI 的设计上来说，业界也会有诸多的人如我一般，都会思考两件事 上下文如何节省 注意力如何不分散 于是我们今天就来聊一聊，我对这两件事的不同看法和实践 我们首先必须得知道的一个前提是上下文很昂贵 这个昂贵有两层含义，一个是经济上的，一个是对于 Agent 来说的 前者不必提，后者其实就是当上下文接近 80% 的时候 AI 就会被记忆给拖累以至于无法再有新产出 基于这个前提，我们自然会有许多手段来防止上下文溢出 先说三个业界内比较普遍的手段。 1. 上下文压缩 让 LLM 自己把整个上下文压缩，去掉冗余信息 kimi-cli 在这点上做的非常顶，它们的 COMPACT.md 非常棒。 2. 动态裁剪 上次跟朋友讨论这个的时候，朋友分享了一个 OpenCode 的插件 就是把一些不必要的 ToolCall 和 ToolResult 让 LLM 自己压缩起来 这种方案缺点是会导致模型提供商围绕请求做的缓存失效。 3. 子代理 (SubAgent) 当前的 SubAgent 的方案其实就是多花 Token 外包某项任务给其它 Agent，而后 Main Agent 就可以通过 SubAgent 的汇报来保证自己注意力和上下文不分散，其实就是砸钱。 4. 我个人的方案 (Fork) 我个人的方案是操作系统那个异常经典且令人拍案叫绝的 fork() 函数 Read more...

ST 表 ST 表是利用倍增思想做预处理的一种数据结构，而预处理所指的算法自然就是动态规划。 这是一个二维的的动态规划，它的状态如下： 设 $f(i,j)$ 代表第 $i$ 个数到第 $i + 2^j - 1$ 个数的最大值，即为：$f(i, j) = \max(i,i + 2^j - 1)$ 这里需要画下重点，请劳烦读者再观察一次该式，后面的推导全部基于此 $$f(i, j) = \max(i,i + 2^j - 1)$$可以发现 $f(i, j)$ 所管辖的区间取决于 $[i, i + 2^{j - 1} - 1] , [i + 2^{j - 1},i + 2^j - 1]$ 这两个区间。 得转移公式：$f(i, j) = \max(f(i, j - 1), f(i + 2^{j - 1}, j - 1))$ int f[200000][20]; void build() { for(int j = 1; j <= logn; j ++) //j + (1 << i) - 1 为右端点 for(int i = 1; i + (1 << j) - 1 <= n; i ++) f[i][j] = max(f[i][j - 1], f[i + (1 << (j - 1))][j - 1]); } 也就是说，我们可以通过这个转移式子在 $n \cdot \log _2n$ 的时间范围内预处理出所有 $f(i,j)$。 Read more...

CS Course Rust 官网 Rust 期刊 Rust TRPL Rust 圣经,不推荐入门 RISC-V 官网 Lua 官网 Lua 手册 License 选择自己喜欢的开源许可证吧！ Python 文档 Python Cookbook 绘制流程图 画图 字节码/汇编 每日资讯 有向图/无向图编辑器

DinD (Docker in Docker) 简介 在运行某一个容器时，该容器若存在运行其它容器的需求时，需要在需要运行其它容器的容器安装一个 Docker 环境 但是我们会发现安装一个 Docker 环境来启动其它容器的代价是巨大的，这样的容器会十分笨重且难以管理 于是可以自然的想到一个很重要的点，需要在容器里面复用容器外的 Docker 环境，这样既能启动容器，也很轻便快捷。 怎么复用呢？有什么方法能够支持复用？ 当我们每次启动 Docker 容器时，是不是可以提供或者同步什么东西过去？环境变量，挂载文件还是网络呢？ 是不是可以通过网络的形式做通信？藉此来连接到外部的 Docker 环境，我们是不是只需要一个 Client 而不需要启动一个 Docker 了。 有两种技术可言，一个是 DinD 容器，启动一个 DinD 容器，让其它容器通过 Network 形式连接到该容器后来创建新的容器，但这种方式因为要使用到 –privilege 选项而容易有安全风险问题。 第二个 DooD(Docker outside of Docker) 使用套接字(Socket)的解决方案，我们只需要将 /var/run/docker.sock 文件挂载到容器内部即可： docker run -v /var/run/docker.sock:/var/run/docker.sock ... 只需要在需要启动其它的容器内安装 Docker Cli 或者是其它能连接的 Client 即可解决此事。