文章列表-AI魔法学院

文章列表

构建开源多模态RAG系统

像 Image2Text：这部分重点在于使用基于transformer的架构来改进复杂图像的字幕生成。

RAG 大模型

什么情况用Bert模型，什么情况用LLaMA、ChatGLM类大模型，咋选？

答：Bert 的模型由多层双向的Transformer编码器组成，由12层组成，768隐藏单元，12个head，总参数量110M，约1.15亿参数量。

大模型

2023年LLM如何入门？请看这篇综述！

A：确实，那近几年的话，研究人员提出了预训练语言模型PLM，通过对大规模语料库进行Transformer模型的预训练，展现了解决各种NLP任务的强大能力。

大模型

详解大模型RLHF过程（配代码解读）

模型并没有在每个action之后得到新的state（感谢评论区大佬的点拨，对于answer的第二个词，可以把prompt+answer的一个词当作新的state，而不只是把prompt当作state，状态转移蕴含在transformer

训练

10个值得收藏的ChatGPT辅助编程技巧

6、对输入保密代码保持警惕鉴于 ChatGPT 使用的是 Large Language Model (LLM)，即 Generative Pretrained Transformer，其中“生成”是指模型生成新内容的能力

编程提示词 chatgpt

大模型应用发展的方向｜代理 Agent 的兴起及其未来（上）

提高Transformer的长度限制、通过总结记忆来提高效率、使用向量或数据结构来压缩记忆。

大模型

国产编程大模型CodeGeex

CodeGeeX含有40个transformer层，每层自注意力块的隐藏层维数为5120，前馈层维数为20480，总参数量为130亿。

编程

摆脱 OpenAI 依赖，8 分钟教你用开源生态构建全栈 AI 应用

Llama 2-Chat-70B：Llama 2系列模型是一组GPT-like (也被称作自回归Transformer

开源模型

中国电信开源星辰AI大模型：央企中首个完成LLM研发和开源的选手诞生

在模型训练上，为了保证稳定性，团队又使用了Embedding LayerNorm算法，在嵌入层添加额外的RMSNorm层，并在每个Transformer子层前加入RMSNorm层。

开源大模型电信

llm-action：让天下没有难学的大模型

配套代码 HuggingFace PEFT LLM分布式训练并行技术近年来，随着Transformer

大模型 LLM

汇总1400+文献的神级“上下文工程”综述，治愈初学者的AI迷失症

例如Transformer架构的模型，要储存输入序列每一个对象的K、V、Q值，这意味着当序列长度非常大时，注意力矩阵的计算和储存会消耗大量的计算资源；但是如果用LSTM，则并行计算的程度很低，处理超长序列的时间会被狠狠拉长

上下文工程 AI

Ollama还是vLLM？深度解析四大顶级LLM服务框架：性能、特性与技术选型指南

vLLM 的核心在于通过创新的内存管理和调度算法，有效解决了传统 Transformer 模型推理中的性能瓶颈。

LLM 服务框架

爆火！腾讯开源PhotoMaker：高效地定制化生成任意风格的逼真人类照片！

由于用于训练原始CLIP图像编码器的数据主要由自然图像组成，为了更好地使模型从掩码图像中提取id相关的嵌入，在训练PhotoMaker时对图像编码器中的部分transformer层进行了微调。

PhotoMaker 文生图

AI+音乐｜对话 Suno CEO：破圈的音乐生成产品是如何诞生的？

我们一开始就决定要走 foundation model 的路线,因为从长远来看,这是最有前途的方向,虽然当时业界几乎没有用 transformer 做音频的先例。

suno 音乐

大语言模型的拐杖——RLHF基于人类反馈的强化学习

此外，该库易于定制，允许基于任何任意用户指定的奖励函数来训练任何编码器-解码器或基于encoder transformer 的LM。

大模型训练

<...5 6 7 8 9 101112 13 14 >

汇聚AI资讯，网罗AI文档，详解AI工具！

关于我们用户协议隐私条款商务合作：skillupvip

© 2023-2025 AI魔法学院

京ICP备20027199号-1