文章列表-AI魔法学院

文章列表

大模型微调经验汇总---LLM finetuning 踩坑经验之谈

选择完后需要对训练数据进行预处理，往往这一步就难住很多同学，无从下手，更别说 training。

大模型人工智能

Rerank——RAG中百尺竿头更进一步的神器，从原理到解决方案

但是这些准确度上的损失是为了让检索效率更快，为了显著降低计算成本，它牺牲了找到绝对最近邻的保证，这算是在计算效率和准确性之间取得平衡。

RAG 检索增强

Giraffe：世界上第一个商业可用的32K长上下文开源LLM（基于Llama-2）

最近我们和社区其他人感兴趣的一个领域是法学硕士是否可以扩展到更长的背景。

开源模型

大模型微调方法总结

--->成立了大模型学习技术讨论群，学术、前沿资讯、技术讨论，移至文末加入我们方法 LoRA 的实现思想很简单，如下图所示，就是冻结一个预训练模型的矩阵参数，并选择用 A 和 B 矩阵来替代

开源模型

大语言模型微调：定制自己的微调数据集

数据样本应该充分，以确保模型能够准确地学习特定任务的格式和规律。

大模型

BGE M3-Embedding：智源最新发布的text embedding模型，多语言检索效果超过微软跟openai

通过计算query跟doc的向量表征之间的内积就知道文本之间的稠密检索相似度。

BGE M3-Embedding 多语音检索

你要牢记的四个常用AI提示词框架：ICIO、CRISPE、BROKE、RASCEF，有助于获取更加稳定和高质量的内容

# Capacity and Role 描述：我希望你扮演一名经验丰富的小学数学老师。

大模型提示词

模型压缩：量化、剪枝和蒸馏

在推理计算量方面，Feed Forward 层消耗了超过一半的计算资源，而Embedding 层几乎不需要算力。

BERT 语言模型

清华、面壁智能发布：主动式Agent 2.0

环境监控与事件收集：开发基于Activity Watcher的监控软件，捕获用户与计算机系统的交互细节，包括键盘和鼠标操作

Agent 2.0 大模型

李彦宏偏爱小模型｜AI光年

未来阿里或20%的代码由AI程序员编写，人类程序员则更多关注系统设计以及核心业务开发工作。

李彦宏小模型

Openai 异步客户端接入国产大模型 Kimi

因此后面谈到大模型时，就统一称呼为 Moonshot。

Kimi Chat 大模型

Prompt工程如此强大，我们还需要模型训练吗？

比如它的数学能力，大语言模型甚至不知道数字代表的真实含义，只是在学习了无数的语料之后，发现了一些数学结论之间的潜在概率关系，就能最终涌现出了数学运算或者复杂推理的能力，这是很强的。

大模型

Qwen7b微调保姆级教程

通过借鉴FastChat对各种开源LLM模型进行数据预处理方法统一管理的方法，因此本范例适用于非常多不同的开源LLM模型，包括 Qwen-7b-Chat，Llama-13b-chat

Qwen7b 大模型

开源大模型部署及推理所需显卡成本必读：也看大模型参数与显卡大小的大致映射策略

调整后的版本使用监督微调（SFT）和带有人类反馈的强化学习（RLHF）来适应人类对有用性和安全性的偏好。

开源模型

一文带你认识ELMo

最简单的理解就是：将词进行向量化表示，实体的抽象成了数学描述，就可以进行建模，应用到很多任务中。

embedding

<...49 50 51 525354 55 56 57 58 ...>

汇聚AI资讯，网罗AI文档，详解AI工具！

关于我们用户协议隐私条款商务合作：skillupvip

© 2023-2025 AI魔法学院

京ICP备20027199号-1