训练魔法-AI魔法学院

训练魔法

大模型量化：什么是模型量化，如何进行模型量化

简单来说，模型量化（Model Quantization）就是通过某种方法将浮点模型转为定点模型。比如说原来的模型里面的权重（weight）都是float32，通过模型量化，将模型变成权重（weight）都是int8的定点模型。

大模型 2023-07-22

微调百川Baichuan-13B保姆式教程，手把手教你训练百亿大模型

本文旨在帮助读者快速掌握使用Firefly项目微调Baichuan-13B模型，该教程同样适用于微调llama、ziya、bloom等模型，并且Firefly项目正在逐步适配更多开源大模型，包括InternLM、CPM-bee、ChatGLM2等。本文是一个Step By Step的大模型训练教程，即使你是训练大模型的新手，通过本教程，也可以快速在一张显卡上训练自己的大模型。

大模型微调 2023-07-21

关于GPT-4在变笨，有人写了篇论文证实了这一点

最近几个月一直都有关于OpenAI的两个传说，其一是ChatGPT的流量开始下滑，其二是GPT4“变笨”了。前者已经被证明是真的，根据数据公司SimilarWeb的统计，5月到6月，ChatGPT全球流量下降了9.7%，美国境内流量下降了10.3%。后者则是逐渐变成了一个Twitter热门传说，大家讨论它的热情堪比对GPT4模型结构的全力揣测，以至于OpenAI的产品副总裁都公开说，不！我们没有让它变笨！

大模型 2023-07-20

国内外开源大语言模型一览表

国内外开源大语言模型一览表

大模型 2023-07-19

垂直领域大模型的一些思考及开源模型汇总

迄今为止，应该没有人还怀疑大模型的能力吧？但目前大模型实现真正落地，其实还有一段艰难的路要走。

垂直领域大模型开源模型汇总 2023-07-18

大语言模型综述<演进，技术路线，区别，微调，实践，潜在问题与讨论>

大语言模型是一种基于深度学习的自然语言处理技术，它可以通过学习大量的语言数据，自动生成高质量的文本内容。这种技术已经被广泛应用于机器翻译、文本生成、问答系统等领域，成为了自然语言处理领域的重要研究方向之一。

大模型 2023-07-18

微调大型语言模型-核心思想和方法介绍

在快速发展的人工智能领域，高效且有效地利用大型语言模型 (LLM) 变得越来越重要。但是我们可以通过许多不同的方式使用大型语言模型，如果您刚开始，这可能会让人不知所措。本质上，我们可以通过两种主要方式将预训练的大型语言模型用于新任务：上下文学习（in-context learning）和微调（finetuning）。在本文中，我们将简要介绍in-context learning的含义，然后我们将介绍微调 LLM 的各种方法。

大模型训练 2023-07-18

人工智能大语言模型微调技术：SFT 、LoRA 、Freeze 监督微调方法

在快速发展的人工智能领域，高效且有效地利用大型语言模型 (LLM) 变得越来越重要。但是我们可以通过许多不同的方式使用大型语言模型，如果您刚开始，这可能会让人不知所措。本质上，我们可以通过两种主要方式将预训练的大型语言模型用于新任务：上下文学习（in-context learning）和微调（finetuning）。在本文中，我们将介绍介绍微调 LLM 的各种方法。

大模型微调 2023-07-18

LLM大模型推理输出生成方式总结

大模型在输出结果时，会有多种方式和算法，本文列举其中几种算法，包括贪心算法、n贪心搜索/采样（greedy search/sampling）、集束搜索（beam search）、TopK采样等

大模型 2023-07-17

谈谈LLM在推荐域的渗透，探索推荐新范式

搜索慢慢的被大模型渗透，那么很自然很多人想到了推荐，但是推荐是不是真的可以被大模型渗透呢？大模型能改变推荐的范式吗？

大模型 2023-07-17

LangChain + ChatGLM2-6B 搭建私域专属知识库

最近，智谱 AI 研发团队又推出了 ChatGLM 系列的新模型 ChatGLM2-6B，是开源中英双语对话模型 ChatGLM-6B 的第二代版本，性能更强悍。本文就基于ChatGLM和Langchain搭建一个私域专属知识库

知识库 2023-07-16

如何用大语言模型构建一个知识问答系统

传统搜索系统基于关键字匹配，在面向：游戏攻略、技术图谱、知识库等业务场景时，缺少对用户问题理解和答案二次处理能力。本文探索使用大语言模型（Large Language Model, LLM），通过其对自然语言理解和生成的能力，揣摩用户意图，并对原始知识点进行汇总、整合，生成更贴切的答案。关于基本思路，验证效果和扩展方向，可以参考正文的介绍。

知识库 2023-07-14

智能知识图谱SmartKG和pySmartKG简介

智能知识图谱SmartKG是一个以人工智能技术为核心的知识图谱解决方案，旨在将各类知识数据集整合、融合，以链式结构描述现实世界中各种实体及其关系，最终构建成一个庞大、复杂、具有可扩展性的知识图谱系统。它可以应用于自然语言处理（NLP）、大数据分析挖掘（Big Data Mining）、智能问答（Intelligent Q&A）、机器人智能对话（Robot Intelligence Dialogue）等领域。

知识图谱 2023-07-14

【万字长文】LLaMA, ChatGLM, BLOOM的参数高效微调实践

主流的开源大语言模型主要有三个：LLaMA、ChatGLM和BLOOM。基于这三个开源模型，业界进行了指令微调或强化学习，衍生出了许多不同的大模型。下面从训练数据、tokenizer和模型结构上对这三个大语言模型进行比较。

大模型微调训练 2023-07-13

玩转大模型必备：milvus向量数据库私有化安装部署及使用介绍

目前官方提供单机模式、集群模式、离线模式三种安装方式，目前milvus都是基于docker 容器方式按照，其中单机模式使用docker-compose方式，集群模式主要是依托K8S实现的。本文主要介绍单机按照模式

向量数据库 2023-07-13

<...49 50 51 52 535455 56 57 58 >

汇聚AI资讯，网罗AI文档，详解AI工具！

关于我们用户协议隐私条款商务合作：skillupvip

© 2023-2025 AI魔法学院

京ICP备20027199号-1