训练魔法-AI魔法学院

训练魔法

预训练对话大模型深度解读

ChatGPT爆火，大模表现的“涌现”现象，证明了大模型的这条路行得通。生成式对话大模型在Turing测试中已逐渐接近人类水平，现在ChatGPT生成的结果难免让人误以为 AI 有意识了开始人格觉醒了，一顿惊慌。前段时间看到吴军博士的一个分享：”ChatGPT不算新技术革命，带不来什么新机会“，里面讲到一个道理，这些都是资本家操作出来割大家韭菜的。其实它只是一个数学模型，它强大的原因是：用到的计算量很大、数据量很大、训练语言模型的方法比以前好。那么在这之前都有哪些机构在研究呢？我们先大概了解下生成式对话模型的发展历史。

2023-07-25

达摩院SPACE对话大模型：知识注入与知识利用

阿里达摩院 Conversational AI 团队从 2014 年开始做智能对话，与 DataFun 有很多次合作，是最早做智能对话的团队之一。围绕大规模训练对话模型、任务型对话、表格型对话、文档型问答、多模态对话、人机协同等方向发表 40+ 篇 ACL/EMNLP/AAAI/SIGIR/KDD 等顶会论文。本文所提出的 SPACE 对话大模型，主要针对两个主题：知识注入和知识利用进行展开，讲解该模型的创新点与改进。

大模型 2023-07-25

来自Microsoft Build 2023：大语言模型是如何被训练出来的

在今年的Microsoft Build 2023大会上，来自OpenAI的研究员Andrej Karpathy在5月24日的一场汇报中详细讲解了ChatGPT是如何被训练的，其中包含了训练一个能支持与用户对话的GPT的全流程以及涉及到的一些技术。信息含量丰富，本文根据这份演讲总结。本文来自DataLearner官方博客：来自Microsoft Build 2023：大语言模型是如何被训练出来的以及语言模型如何变成ChatGPT——State of GPT详解 | 数据学习者官方网站(Datalearner)

大模型 2023-07-25

百模大战，谁是大模型的裁判员？

因为各个模型的基座、技术路径都不尽相同，所以参数量和评测基准的评分这两类指标相对直观，这也使得模型评测基准已经成为了业内衡量模型各方面性能的工具。

大模型 2023-07-25

最新最全的开源中文大语言模型列表

整理开源的中文大语言模型，以规模较小、可私有化部署、训练成本较低的模型为主，包括底座模型，垂直领域微调及应用，数据集与教程等。

大模型 2023-07-22

大模型量化：什么是模型量化，如何进行模型量化

简单来说，模型量化（Model Quantization）就是通过某种方法将浮点模型转为定点模型。比如说原来的模型里面的权重（weight）都是float32，通过模型量化，将模型变成权重（weight）都是int8的定点模型。

大模型 2023-07-22

微调百川Baichuan-13B保姆式教程，手把手教你训练百亿大模型

本文旨在帮助读者快速掌握使用Firefly项目微调Baichuan-13B模型，该教程同样适用于微调llama、ziya、bloom等模型，并且Firefly项目正在逐步适配更多开源大模型，包括InternLM、CPM-bee、ChatGLM2等。本文是一个Step By Step的大模型训练教程，即使你是训练大模型的新手，通过本教程，也可以快速在一张显卡上训练自己的大模型。

大模型微调 2023-07-21

关于GPT-4在变笨，有人写了篇论文证实了这一点

最近几个月一直都有关于OpenAI的两个传说，其一是ChatGPT的流量开始下滑，其二是GPT4“变笨”了。前者已经被证明是真的，根据数据公司SimilarWeb的统计，5月到6月，ChatGPT全球流量下降了9.7%，美国境内流量下降了10.3%。后者则是逐渐变成了一个Twitter热门传说，大家讨论它的热情堪比对GPT4模型结构的全力揣测，以至于OpenAI的产品副总裁都公开说，不！我们没有让它变笨！

大模型 2023-07-20

国内外开源大语言模型一览表

国内外开源大语言模型一览表

大模型 2023-07-19

垂直领域大模型的一些思考及开源模型汇总

迄今为止，应该没有人还怀疑大模型的能力吧？但目前大模型实现真正落地，其实还有一段艰难的路要走。

垂直领域大模型开源模型汇总 2023-07-18

大语言模型综述<演进，技术路线，区别，微调，实践，潜在问题与讨论>

大语言模型是一种基于深度学习的自然语言处理技术，它可以通过学习大量的语言数据，自动生成高质量的文本内容。这种技术已经被广泛应用于机器翻译、文本生成、问答系统等领域，成为了自然语言处理领域的重要研究方向之一。

大模型 2023-07-18

微调大型语言模型-核心思想和方法介绍

在快速发展的人工智能领域，高效且有效地利用大型语言模型 (LLM) 变得越来越重要。但是我们可以通过许多不同的方式使用大型语言模型，如果您刚开始，这可能会让人不知所措。本质上，我们可以通过两种主要方式将预训练的大型语言模型用于新任务：上下文学习（in-context learning）和微调（finetuning）。在本文中，我们将简要介绍in-context learning的含义，然后我们将介绍微调 LLM 的各种方法。

大模型训练 2023-07-18

人工智能大语言模型微调技术：SFT 、LoRA 、Freeze 监督微调方法

在快速发展的人工智能领域，高效且有效地利用大型语言模型 (LLM) 变得越来越重要。但是我们可以通过许多不同的方式使用大型语言模型，如果您刚开始，这可能会让人不知所措。本质上，我们可以通过两种主要方式将预训练的大型语言模型用于新任务：上下文学习（in-context learning）和微调（finetuning）。在本文中，我们将介绍介绍微调 LLM 的各种方法。

大模型微调 2023-07-18

LLM大模型推理输出生成方式总结

大模型在输出结果时，会有多种方式和算法，本文列举其中几种算法，包括贪心算法、n贪心搜索/采样（greedy search/sampling）、集束搜索（beam search）、TopK采样等

大模型 2023-07-17

谈谈LLM在推荐域的渗透，探索推荐新范式

搜索慢慢的被大模型渗透，那么很自然很多人想到了推荐，但是推荐是不是真的可以被大模型渗透呢？大模型能改变推荐的范式吗？

大模型 2023-07-17

<...48 49 50 515253 54 55 56 57 >

汇聚AI资讯，网罗AI文档，详解AI工具！

关于我们用户协议隐私条款商务合作：skillupvip

© 2023-2025 AI魔法学院

京ICP备20027199号-1