文章列表-AI魔法学院

文章列表

大模型微调应用实践，没那么简单，看看曾经踩过的坑

=INFONCCL_SOCKET_IFNAME=eth0NCCL_P2P_DISABLE=1 多机训练效率不如单机：多机训练可以跑起来，但是在多机上模型训练的速度比单机上还慢。

大模型

迄今为止，最强ChatGPT写论文技巧，总共6步，手把手告诉你！

这就是业内人常说的，训练ChatGPT。

chatgpt 提示词

RAG 修炼手册｜一文讲透 RAG 背后的技术

它通过训练语料库来学习单词之间的语义和语法关系，将单词映射到高维空间中的稠密向量。

RAG Embedding

中文通用大模型最全汇总

；第一步：先在42G中文预料上进行训练；后续将会加大训练规模；Chinese-LlaMA2-chat: 对Chinese-LlaMA2进行指令微调和多轮对话微调，以适应各种应用场景和多轮对话交互。

大模型开源模型

大模型时代-行业落地的再思考

通用大模型指的是模型训练的时候是用了大量的通用数据的。

大模型

2万字大模型调研：横向对比文心一言、百川、Minimax、通义千问、讯飞星火、ChatGPT

、训练卡顿、无训练日志略 2023-9-27

大模型调研

自动优化Prompt：Automatic Prompt Engineering的3种方法

给定一个训练集，定义好评价指标，运行automatic prompt engineering框架之后，将自动得到能取得最佳效果的prompt。

prompt 大模型

8个常用中文OCR数据集，附下载链接

该数据集由两部分构成：训练集、测试集。

OCR

华为盘古画画3.0发布 | PanGu-Draw：业界最大的中文文生图模型，效果YYDS！

图1显示了两种现有的训练策略:(a)级联训练，使用三个模型来逐步提高分辨率，数据效率高，但训练和推理时间增加了三倍。

PanGu-Draw 文生图

必读！RAG好用的3种Router

kNN路由器（kNN-Router）：kNN路由器使用句子变换器对训练查询进行编码，并根据余弦相似度找到与测试查询最接近的训练查询

RAG Router

大模型微调方法总结

但是随着预训练语言模型越来越大，这个范式存在以下问题： ● 当我们 finetune 大模型时，由于训练成本太高，不太可能重新训练所有模型参数 ● 以前的方法（论文发表于 2021 年）都或多或少有其它性能问题

开源模型

用户意图对齐，无需人工标注，Zephyr-7B 超越 Llama2-Chat-70B

此方法的优势包括较短的训练时间和无需额外采样，为开放大型语言模型(LLMs)的发展和微调提供了新方向。

小型语言模型 Zephyr-7B

心理健康AI应用空白：LLM评估基准震撼出炉（附Prompt模板）

局限性语言特定训练的重要性和心理诊断及咨询场景的专门训练需求凸显了现有模型的局限性。

大模型心理

垂直领域大模型的一些思考及开源模型汇总

训练方法：基于Llama-7B模型，采用Lora方法进行模型训练。

垂直领域大模型开源模型汇总

大语言模型综述<演进，技术路线，区别，微调，实践，潜在问题与讨论>

训练数据以英文为主，不包含中韩日文，所有训练数据都是开源的，分词之后大约有1400B的tokens。

大模型

<...14 15 16 171819 20 21 22 23 ...>

汇聚AI资讯，网罗AI文档，详解AI工具！

关于我们用户协议隐私条款商务合作：skillupvip

© 2023-2025 AI魔法学院

京ICP备20027199号-1