训练魔法-AI魔法学院

训练魔法

24年首篇离奇论文：加点噪声，RAG效果翻倍？

本文研究了基于检索增强的语言模型（RAG）中信息检索组件对系统性能的影响，发现添加不相关文档可提高准确性，揭示了RAG系统的优化方向和局限性。论文首次关注RAG的IR方面，提出了方法策略并利用实验结果进行验证，为未来发展新一代信息检索技术提供了基础。未来可进一步研究内在机制，探索更复杂的模型和技术以提高性能。

RAG 检索增强 2024-05-23

使用大模型自动回复小红书/抖音/快手评论：通过RAG 优化LLMs实现

本文介绍了使用检索增强生成（RAG）技术改进大型语言模型（LLM）性能的方法，特别是在YouTube自动评论回复中的应用。文章首先解释了LLM的作用，即取代人工进行降本增效，并以自动回复用户提问为例说明其应用场景。然而，LLM存在两个关键限制：静态的知识和对小众及专业信息理解不足，这可能导致对用户查询产生不良或虚构的模型响应。为减轻这些限制，文章提出了RAG技术。RAG通过向基本LLM处理过程添加检索步骤，根据用户提示从外部知识库中提取相关信息并注入到提示中，从而增强LLM的性能。这种方法灵活且直接，可以改进基于LLM的系统。此外，由于知识存储在外部数据库中，更新系统知识也变得简单。文章详细描述了RAG系统的两个关键要素：检索器和知识库。检索器接受用户提示并从知识库中返回相关项目，通常使用文本嵌入来表示和比较用户查询与知识库中每个项目的相似度。知识库则包含想要提供给LLM的所有信息，可以通过从一组文档中构建得到。文章还讨论了构建RAG系统时的一些细微差别，如文档准备、选择合适的块大小以及改善搜索策略等。最后，文章提供了一个示例代码，展示了如何使用RAG技术改进YouTube评论回复程序，包括安装必要的Python库、建立知识库、设置检索器以及将RAG添加到LLM中。通过比较无上下文和有上下文的模型响应，文章展示了RAG技术如何帮助LLM更准确地回答技术问题，并捕捉更丰富的解释。这一方法不仅提高了LLM的性能，也使其更适用于实际应用场景。

RAG 大模型自动回复 2024-05-22

0基础！动手部署Qwen1.5-MoE模型！能力如何？API接入fastgpt等任何应用！喂饭到嘴教程，附模型下载！

本文介绍了moe模型的开发背景及优势，特别强调了新发布的Qwen1.5-MoE-A2.7B模型的能力超过7B，具有推理速度快、部署成本低的特点。文章还通过一系列问题测试了该模型的能力，并详细描述了如何在本地部署该模型，包括所需算力、环境配置、模型下载等步骤。最后，文章提到模型权重和推理仓库的下载方式，但仅限特定会员专享。

Qwen1.5-MoE 大模型下载 2024-05-22

【提前体验GPT-5】吴恩达AI智能体工作流详细解读

吴恩达教授提出AI智能体驱动的工作流方式将成为未来趋势，并证实通过此技术GPT3.5的效果可超越GPT4。他在斯坦福大学的演讲中详细解释了四种实现智能体工作流的设计模式：反思、使用工具、规划和多智能体协作。反思模式涉及让智能体检查并优化其工作；使用工具模式强调智能体依赖外部工具提升能力；规划模式要求智能体预先规划执行路径；多智能体协作模式则涉及智能体间的角色扮演和辩论以提升性能。这些模式将大幅扩展AI的功能。尽管智能体工作流需要时间来生成答案，但快速生成token的技术研究也在兴起。在使用智能体工作流时，需要保持耐心。

GPT-5 智能体 2024-05-22

弱智吧竟成最佳中文AI训练数据？！中科院等：8项测试第一，远超知乎豆瓣小红书

研究团队使用充满荒谬、离奇言论的中文社区“弱智吧”的数据训练AI模型，该模型在多项测试中表现卓越，甚至超过了使用其他平台数据训练的模型。研究团队认为，这种数据增强了AI的逻辑推理能力。此研究为中文大模型开发提供了有价值的指令微调数据集，展现了社交媒体数据在AI训练中的潜力。

弱智吧训练数据集 2024-05-22

开源！数字人资源大集合！

本文介绍了完整数字人项目及其资源合集，包含数字人相关的大量论文和源代码。文章列举了多个团队与人员的研究成果，以及相关的数据集，如SMPL、THUmanDataset和AGORA等。此外，还介绍了3D人体头像生成和动画以及穿衣人体运动生成等方面的研究进展，包括使用文本生成可动画的数字化身和具有高效3D铰接人体生成的技术。同时，文章还涉及了穿衣人数字化的研究，包括从单目图像恢复3D人体网格的方法以及具有镜像意识的神经人类等。最后，文章提及了智能手机视频中的逼真虚拟人技术，以及使用隐式表面对应和自监督学习进行3D人体网格配准的方法。

数字人开源 2024-05-21

微信为什么使用 SQLite 保存聊天记录？

本文介绍了SQLite作为一个被低估但功能强大的数据库，尽管没有网络层，但适用于多种场合。文章重点讨论了SQLite在2018年新增的SQL功能，包括布尔字面量和判断、窗口函数、Filter子句、Insert … on conflict (“Upsert”)、重命名列等。SQLite支持布尔值判断，窗口函数功能领先业界，Filter子句提供更易理解的聚合过滤方式，Upsert功能优雅处理主键和唯一约束冲突，并引入重命名列功能。此外，还提到了SQLite在API方面的一些变化。总之，SQLite在不断完善其SQL功能，成为一个可靠且广泛应用的数据库引擎。

SQLite 微信数据库 2024-05-21

社区供稿｜GPT-4 与国产模型，大！横！评！

本文测评了三款国产大模型——智谱GLM-4、文心一言4.0和字节的豆包，以GPT-4为基准，通过基础测试和应用实践两个环节来评估它们的性能。在基础测试中，各模型在联网查询、数据分析、多模态文生图、长文档解读以及智能体等方面的表现各有千秋。智谱GLM-4在各项功能上表现稳定，与GPT-4的功能布局相似，但在智能体功能上稍逊于GPT-4。文心一言4.0在数据分析方面存在不足，但在高考数学大题等场景下表现出色。字节的豆包在语义理解和常识查询方面表现突出，但在其他功能上还有待提升。在应用实践中，各模型在文本生成、语义理解、数理计算和代码解释等方面的表现也各具特色。智谱GLM-4在多个场景下表现稳定，尤其在数理计算和代码解释方面表现突出。文心一言4.0在高考数学大题上得分较高，但在代码解释方面表现不佳。字节的豆包在常识查询方面表现出色，但在其他场景下的表现平平。此外，文章还对比了智谱GLM-4与其上一代模型GLM-3的性能差异，显示出GLM-4在各项基础模型能力上的全面强化和进步。最后，文章指出，虽然ChatGPT等国外大模型在技术上具有优势，但在本地化表现上并不尽如人意，对于中文普通用户而言仍存在使用门槛。国产大模型在努力提升技术实力的同时，也需关注本地化需求和用户体验，以更好地满足国内用户的需求。

GPT-4 大模型 2024-05-21

国产AI，逃过一劫

文章简要概括了去年ChatGPT的崛起引发的国内大模型创业潮，以及随后行业的冷静和商业化进程。特别关注了美团联合创始人王慧文在此过程中的起伏，包括他高调宣布进军AI赛道，设立光年之外科技有限公司，但随后因个人原因退出，并将光年之外并入美团。文章还提到了王慧文近期作为投资人和创始股东参与硅动科技的创业，该公司致力于解决大模型推理和部署的高成本问题。此外，文章还分析了国内大模型行业的发展趋势，包括从追赶ChatGPT到注重应用场景落地，以及面临OpenAI等国外巨头的竞争压力。最后，文章对王慧文回归AI赛道的未来表现持观望态度。

ChatGPT 大模型 2024-05-20

惊艳！2.77亿参数锻造出Agent+GPT-4V模型组合，领航AI领航机器人、游戏、医疗革新，通用智能时代你准备好了吗？

顶尖学者合作推出交互式代理基础模型，具备处理文本、图像、动作输入的多模态能力，可应用于机器人、游戏、医疗等多领域。模型具有实时判断和多模态处理能力，利用预训练子模块和游戏数据集提升性能，实现精准预测和强适应性。该模型为通用、行动导向的AI应用提供了有希望的途径，作者将开源项目代码。

Agent+GPT-4V 大模型 2024-05-20

微软、OpenAI大佬暗示LLM应用开发范式迁移：从Prompt Engineering到Flow Engineering

《Code Generation with AlphaCodium》论文提出Flow engineering范式，通过多次生成测试反馈迭代提升GPT-4准确率。文章指出，未来LLM应用开发应重视Flow engineering，从单次prompt工程转变为基于环境反馈的复杂流程组织及自我迭代纠错。文章还强调了大模型应用开发的务实性和工程化，并提及了多个MultiAgent框架和平台，反映了MultiAgent在LLM时代的重要性。

LLM 范式迁移 2024-05-20

混合专家模型 (MoE) 详解

随着 Mixtral 8x7B (announcement, model card) 的推出，一种称为混合专家模型 (Mixed Expert Models，简称 MoEs) 的 Transformer 模型在开源人工智能社区引起了广泛关注。在本篇博文中，我们将深入探讨 MoEs 的核心组件、训练方法，以及在推理过程中需要考量的各种因素。

MoE大模型 2024-05-20

揭秘Baichuan 3超越GPT-4的中文实力！文心一言、GLM 4.0也甘拜下风？全方位对比测试大揭秘！

百川智能推出了超千亿参数的大语言模型Baichuan 3，在中文任务上超越了GPT-4，展现了出色的语言理解和生成能力。其成功得益于突破性的“迭代式强化学习”技术，以及针对中文语境的深度优化。在逻辑推理、代码解释、工具调用、AI写诗、文件上传提炼大纲等方面均表现出色。与其他大模型如文心一言、GLM、GPT-4和Claude-2相比，Baichuan 3在中文任务上独具优势。此外，百川智能通过一系列技术创新解决了训练过程中的挑战，为Baichuan 3的成功奠定了基础。未来，我们期待看到更多如Baichuan 3般强大而智能的中文大模型在各个领域大放异彩。

Baichuan 3 大模型 2024-05-17

回归分析：探索变量之间的奥秘

回归分析是探索变量间关系的工具，适用于多个领域。回归分析涉及因变量、自变量，以及线性和非线性、多元与一元回归等概念。进行回归分析需明确目标、收集数据、建立模型并评估精度，最终应用于实际。回归分析有多种分支，如线性回归、多元线性回归、非线性回归等，各有特点，共同揭示变量间的复杂关系。

回归分析变量 2024-05-17

省钱！微软开源框架LLMLingua + LlamaIndex实现提示词压缩

微软发布的开源框架LLMLingua旨在通过提示词压缩降低token开销，提高语言模型响应速度。LLMLingua利用训练过的语言模型识别和移除非必要标记，实现高效推断，性能损失小。LongLLMLingua解决了长上下文信息处理的挑战，提高RAG性能。LlamaIndex框架原生支持LLMLingua，方便开发者集成。文章展示了如何使用LlamaIndex和LLMLingua实现提示词压缩，并给出了压缩效果的示例代码和输出。

LLMLingua LlamaIndex 开源框架 2024-05-17

<...10 11 12 131415 16 17 18 19 ...>

汇聚AI资讯，网罗AI文档，详解AI工具！

关于我们用户协议隐私条款商务合作：skillupvip

© 2023-2025 AI魔法学院

京ICP备20027199号-1