MacTalk
订阅
MacTalk 开通于2012年末,内容起于 Mac 而不止 Mac,内容覆盖了技术、创业、产品和人文思考。文风有趣,又有一点力量。
MacTalk微信公众号二维码
关注该公众号

会员可查看最新的全部文章

^__^ • 9 / 23
新模型 Jev 为什么能在硅谷爆火,因为它解决了一个真需求 9 月 15 日,TypeSafe AI 发布新模型 Jev,发布视频获得了 3600 万次观看(相比之下,OpenAI 的千禧年猜想获得了 7400 万次观看,Anthropic 的 Fable 5 获得了 5700 万次观看,两天之内)。这几天很多开发者在测试这款模型,各大基模厂商也在把 Jev 接入自己的模型。 Jev 是干啥的?咋这么火。先说场景,一封售后邮件进来,系统需要判断:是否紧急,该给哪个部门处理,要不要人工介入,等等。都是小问题,但以前 AI Agent 的处理方式是让大模型读完材料,生成答案,再做判断选择。一天重复十万次,时间和账单儿都是问题。 Jev 专门处理这种判断,简单直接,是/否加一个概率,快如闪电。创始人 Diogo Almeida 曾参与 OpenAI 的指令跟随研究,如今关注的是:怎样直接使用 AI 的判断。 Jev 只接收文本,不写文章,不生成代码,也不解释推理过程。它提供三种回答:Choice 做选择,Score 按标尺评分,Noul 返回命题成立的概率。邮件给技术支持,客户着急吗,要不要退款,都可以变成 Agent 直接使用的结果。关于概率,这里有个重要的区别:模型说“我有九成把握”,这份把握未必经过检验。Jev 做的是让返回的概率与实际结果能对得上:一批被判断为九成可能紧急的邮件确实很紧急。同时,它会直接计算多个独立问题的概率,并省去逐字生成答案的过程。 TypeSafe 把这类模型叫作“System One”,借用了《思考,快与慢》的概念。我觉得这是一个 Agent 分工细化的产物:大模型负责规划与生成内容,决策模型(Jev)处理范围明确的小的判断,普通代码负责计算和执行规则。省钱快速直接。官方公布的端到端延迟为 70—500 毫秒,每百万输入 token 收费 0.042 美元,输出免费,确实又快又好又省钱。开发者想要接入可以去官网注册信息,按 Quick Start 接入即可,步骤如下: 1. 获取 API Key 在 console.typesafe.ai 注册账号获取 API key。 2. Python SDK 安装 pip install "pydantic-ai-slim[typesafe]"设置环境变量: export TYPESAFE_API_KEY='your-api-key' 3. TypeScript SDK 安装 npm install @typesafe-ai/sdk 目前该模型过于火爆以至于无法注册,不过不用着急,很快各路开源和其他基模厂商会快速跟进,估计中秋和十一又不休息了 关于 Jev 的架构详解,可以看我整理的这一篇: Jev 架构揭秘:一个不生成文本的决策模型是怎么工作的 比较长,一万多字,可以先收藏再读。
^__^ • 9 / 18
美国联邦公报咋还偷偷用上 Qwen 了?又看到一个有趣的事儿。上周,FBI 刚刚指控阿里巴巴“恶意”抄袭 Anthropic 的模型来构建自己的 AI 工具,说中国 AI 公司正以“工业化规模”的方式复制美国技术。几天后,有路透社记者发现,美国政府自己的网站——联邦公报(Federal Register)的官网,一直在提供一个由阿里 Qwen 模型驱动的 AI 搜索,供公众浏览法规草案下的公共评论。到周三相关截图开始在 x.com 等社交媒体上传播,同一天,页面上的 Qwen 被悄悄撤下。有人说,这就尴尬了吧,但是,只要你不觉得尴尬,尴尬的就是别人。查了下资料,发现这个联邦公报是由国家档案馆运营,用来发布法规、公告和总统文件的网站。之前的高级搜索页面有五个模式,其中两个跑在 Qwen3:0.6B 上——一个 6 亿参数的蒸馏小模型,页面标注着“512 维向量、递归切分、蒸馏”这类技术字样。现在看都没了,就剩下关键词和语义两个默认选项。要我说啊,其实真没必要,我们又不介意 之前不是说国家安全部门啊,机构啊,就不能用中国 AI 模型吗?咔这边就用上了。我觉得,这在米国的各种机构和企业里,可能是个常见的现象。好用开源免费为什么不用呢?乔治城大学法学教授 Anupam Chander 对路透社说,这个用法看起来没有直接的网络安全风险,因为联邦公报的内容本身就是公开的,模型并不接触敏感的政府信息。我想,这正是开放权重模型的特点。Qwen 和 Kimi 等开源权重公开可下载,许可协议大都是 Apache 2.0 这样的自由协议,完全可以跑在使用者自己的服务器上,跑在内网里,数据不需要交给任何供应商。这意味着开源模型的提供商根本不需要“进入”那个联邦系统——更可能的剧情是,某个承包商或工程师从 Hugging Face 上把模型拉了下来,就像拉取任何一个免费模型一样,选型逻辑也简单:便宜、本地运行、性能够好,就完了。我记得今年四月还有个新闻,国会质询 Airbnb 为什么用 Qwen,可见商业世界早就用脚投过票了。无论是在 Windows/Mac/Linux 时代,还是 Android/iOS 时代,开源和闭源商业模式永远是并存的,互相制约,互相发展。互联网时代,西方贡献的优质开源项目众多,几乎支撑了整个互联网的发展,到了 AI 时代,中国对开源模型的贡献更多些,这不是好事吗?历史发展充满戏剧性。当年中国互联网是站在西方开源软件的肩膀上长大的,大家都说这叫生态。如今风向调转,最好的开源模型从中国长出来,我觉得吧,这是个新的肩膀,挺好。