文章列表-AI魔法学院

文章列表

汇总1400+文献的神级“上下文工程”综述，治愈初学者的AI迷失症

截至25年7月，拥有最长上下文窗口的模型为Magic.dev 的 LTM-2-Mini，据说一次性可以处理1个亿token，相当于一次性记住 750 部10万字小说的细节。

上下文工程 AI

Sora物理悖谬的几何解释

Sora 将视频编码映射到隐空间，再切割成时空补丁，被称为时空令牌（time-space token）。

Sora 解释

回望做大模型一年后的感悟

前一类现在大家基本上都是2T左右token起，也有3、4T token的数量级的，这类工作即使训练7B的模型也需要几百万的代价，训练30几B的模型更是数千万的成本。

大模型感悟

图解检索增强式生成（RAG）技术 | 万字长文

它取决于你使用的嵌入模型及其在 Token 上的处理能力。

检索增强式生成 RAG

一个产品经理的大模型观察、反思与预测

ensp; 预训练时要处理的数量级：上下文长度通常是 2000、4000 甚至是 100,000（决定GPT在尝试预测序列中的下一个token

工作

中文OCR超越GPT-4V，参数量仅2B，面壁小钢炮拿出了第二弹

活动现场，面壁智能演示了 MiniCPM-1.2B 在 iPhone 15 上流畅的运行效果，推理速度提升 38%，达到了 25 token/s，是人说话速度的 15 到 25 倍。

MiniCPM 大模型

无需翻墙，可合法使用的8款国内AI大模型产品

上海交通大学及清华大学发布包括书生·多模态、书生·浦语和书生·天际等三大基础模型书生·浦语（InternLM）是国内首个正式发布的支持8K语境长度的千亿参数级语言大模型，具有1040亿参数，是在包含18000亿 token

生成式AI

Stable Diffusion

免配置、免翻墙，Stable Diffusion平替来了！

LeonardoAi平台采用代币制，每人每天会有150个token，渲染一张图大概3~8token，虽然对于设计师来说，非常大量的生图可能会不够用

LeonardoAI 文生图

OCR终结了？旷视提出可以文档级OCR的多模态大模型框架Vary，支持中英文，已开源！

那么对于现在基于 CLIP 视觉词表的多模大模型也是一样的，遇到 “foreign language image”，如一页论文密密麻麻的文字，很难高效地将图片 token 化，Vary 提出就是解决这一问题

OCR 手写文字识别

RAG——使用检索增强生成构建特定行业的大型语言模型

research_projects/rag at main · huggingface/transformers · GitHub[2] huggingface： •facebook/rag-token-nq

大模型

OpenAI 上线新功能力捧 RAG，开发者真的不需要向量数据库了？

这些限制不利于大型文档仓库：每个 Assistant 最多支持 20 个文件每个文件最大为 512 MB 我们在测试中发现了关于 Token 的隐藏限制

RAG 检索向量库

被时代选中的智谱 AI：成为 OpenAI，超越 OpenAI

在模型训练中，文本需要分割成 token，只有一种语言的话，token 的数量是固定的，但如果涉及另一种语言，token 的数量就会显著增加，整个扩展的词汇表会更大。

智谱 AI

如何构建基于大模型的App

请记住，每个LLM都有token限制（GPT 3.5的令牌限制为4000个），需要确保整个提示的token数不超过单次LLM API 调用的token限制。

构建大模型App

通俗解读大模型微调(Fine Tuning)

Prompt Tuning的基本原理是在输入序列X之前，增加一些特定长度的特殊Token，以增大生成期望序列的概率。

大模型微调

为什么说AI现在还不行！

假设他一年写一部小说3百万字，放大点算1000万token。

大模型

<...4 5 6 789 10 11 12 13 ...>

汇聚AI资讯，网罗AI文档，详解AI工具！

关于我们用户协议隐私条款商务合作：skillupvip

© 2023-2025 AI魔法学院

京ICP备20027199号-1