文章列表-AI魔法学院

文章列表

RAG与Long-Context之争—没必要争

很多极端的人说可能就不存在领域大模型了，但仔细想想，即使Gemini支持1M Token、Kimi-Chat支持200w字，也就是400多个PDF(假设一个PDF平均有5k字)，垂直领域(不抬杠，这里特指一些大领域

RAG Long-Context 大模型

一位芯片投资人的十年复盘：谁是中国的英伟达｜AI光年

transformer，怎样增加带宽和显存容量，以GPT3为例，他把全世界的知识压缩到了1750 亿参数的大模型里，对于芯片来讲，现在很大的瓶颈是数据交换，上下文尤其是长文本拥有巨大的信息量，生成一个token

AI光年芯片投资

Sora懂不懂物理世界？

的基本原理 Sora的训练集为短视频集，每个样本是一个短视频，Sora将其编码到数据空间进行降维，然后在隐空间中将特征向量切割成补丁，加上时间顺序，构成时空补丁，亦即时空令牌（time-space token

文生视频视频生成 sora

QWen1.5: 卓越模型之路

model.is_quantized = load_in_8bit or load_in_4bit # make sure token

Qwen1.5 开源模型

理解 o3 及其技术分析

但这个图有几个注解： o3模型是针对该测试集优化过的，也就是图里Tuned所指的目前o3的 high-compute 模式定价还没有确定，所以图例的定价并不对，大概只是Arc基于token

o3 技术分析

chatglm3基础模型多轮对话微调

其实数据处理chat_data_module.py中会拼接一些token就是拼接user、assistant、换行等特殊token SFT的方式假设SFT的数据为 Q1,A1,Q2,A2,Q3,

ChatGLM 微调

只需四步就能构建自己的Agent！达摩院新开源框架小白也能用

2、配置config文件，ModelScope token和构建API工具检索引擎。

大模型

大模型微调方法总结

与提示（prompt）不同的是，前缀完全由自由参数组成，与真正的 token 不对应。

开源模型

大模型：泛化即智能，压缩即一切

是的，如果我们已经将数据集中的每一个token都看过了一遍，那么所谓的 "training loss" 其实就是 "next token validation loss"。

大模型泛化

实现聊天机器人打字机形式输出内容：SSE原理介绍及Post实现方式

signal, headers: { 'Content-Type': 'application/json', token

大模型

大语言模型微调：定制自己的微调数据集

这里补充一句，在相关研究中，数据集长度通常采用token数或指令条数进行计算。

大模型

学术党狂喜，Meta推出OCR神器，PDF、数学公式都能转

在训练过程中，研究团队也会通过随机替换 token 的方式，对实际文本添加扰动。

大模型

一文带你认识ELMo

2.2 双向语言模型假定一个序列有N个token，即 (t1,t2,...

embedding

分析过688篇大模型论文，这篇论文综述了LLM的当前挑战和应用

依赖 token 化器 token 化器带来了一些挑战，比如计算开销、语言依赖性、对新词的处理、固定词汇量、信息丢失和人类可解释性低。

开源模型

AI Comic Factory：AI(连环)漫画生成器

要激活它，请创建一个 .env.local 配置文件： LLM_ENGINE="INFERENCE_API" HF_API_TOKEN="Your Hugging Face token

生成式AI

<1 2 3 456 7 8 9 10 ...>

汇聚AI资讯，网罗AI文档，详解AI工具！

关于我们用户协议隐私条款商务合作：skillupvip

© 2023-2025 AI魔法学院

京ICP备20027199号-1