文章列表-AI魔法学院

这篇文章主要讨论了大型语言模型（LLM）的认知和训练方面。在认知方面，文章指出知识主要来自预训练阶段，指令微调主要是为了让LLM更好地输出已具备的知识。同时，文章也提到了模型学会中文后能够理解和输出一些指令微调数据集里未见过的中文词汇，但指令微调并非数据量越多越好，数据质量可能更重要。在训练方面，文章介绍了Lora框架和int8推理等相关内容，并给出了一些微调时的实用建议，如prompt和output尽量不要重复等。此外，文章还提到了模型可能更容易理解“模型语言”这一玄学现象，并讨论了预训练阶段数据量和质量的优先级问题。最后，文章还提出了一些猜想和补充，如领域微调时模型参数越大可能越难训，以及chatGLM2的max_length起飞等问题。

LLM微调经验认知 2024-04-09

开源

十大开源语音识别项目

本文介绍了十个与自动语音识别（ASR）技术相关的开源项目，包括Whisper、Massively Multilingual Speech、DeepSpeech、PaddleSpeech、ESPnet、ASRT、SpeechBrain、WeNet、MASR和FunASR。这些项目在语音识别领域具有重要意义，支持多种语言，并提供了丰富的功能和工具。此外，文章还介绍了趋动云作为领先的算力服务商，在ASR科研方面的优势和支持。这些资源和工具为ASR技术的发展提供了有力支持，促进了该领域的进步。

开源项目语音识别 2024-04-09

ChatGPT

从 ChatGPT 系统提示中，分享几个拿来就能用的prompt提示工程技巧

本文介绍了ChatGPT的GPT4和DALL.E 3等核心功能，这些功能背后的提示词是由模型开发人员编写的。文章分享了学习这些功能内部提示词可以学到prompt提示工程技巧，并提供了五个建议：使用Markdown和编号列表构建提示，迭代提示，使用英文撰写提示词并用大写突出显示单词，经常举例以巩固指示，以及让AI决定结果是否令人满意。

ChatGPT Prompt技巧 2024-04-09

RAG

RAG 领域的新宠：为什么 AI 圈都在谈论 Jina ColBERT？

在 RAG (检索增强生成)领域，选对向量模型至关重要，它基本就决定了 RAG 系统的“天花板”，也因此，向量模型的选择总是业界的热门讨论话题。

rag 大模型 2024-04-09

Stable Diffusion

SD入门教程一：Stable Diffusion 基础（技术篇）

本文介绍了Stable Diffusion的工作原理，它是一个由多个组件构成的系统，主要用于根据用户输入的Prompt生成相应的图片。整个生成过程经过三个主要步骤：Text Encoder将输入的Prompt转化为词特征向量，Image Information Creator在潜空间中对这些特征向量和一张随机图进行降噪处理，最后Image Decoder将中间产物解码成一张真正的图片。Stable Diffusion生成的图片质量高，且生成过程可以看作是“雕刻”而非简单的“生成”，整个过程中会去掉不需要的噪声，使得最终生成的图片更符合用户的指令。此外，本文还介绍了潜空间的概念以及Text Encoder的工作原理，解释了为何输入的Prompt不需要在意语法和大小写敏感的问题。

SD教程 StableDiffusion 2024-04-09

Midjourney

Midjourney 进阶关键词_摄影效果专题

Midjourney V6 在真实摄影效果的成像上目前应该无人可以竞争。经过这段时间的测试，觉得可以将摄影效果特别增设一个专题，以每日一词的方式分享给大家进行测试运用。

midjourney 文生图绘画 2024-04-09

写作

GPT让你拥有超强的写作能力！

这篇文章总结了职场中写作的重要性，并介绍了使用GPT进行写作的多个prompt，包括纠正语法错误、改善句子结构、保证风格一致性、为特定受众定制语言、提高清晰度和简洁性、检查抄袭以及丰富词汇量等。通过运用这些prompt，可以提升文本的质量和专业性，满足不同的写作需求。

GPT 写作 2024-04-09

大模型

评论能力强于GPT-4，上交开源13B评估大模型Auto-J

上海交通大学生成式人工智能实验室推出了一款全新的价值对齐评估工具Auto-J，旨在解决生成式人工智能技术在与人类价值对齐方面的挑战。该工具包含130亿参数，支持50+种真实场景的用户问询评估，可无缝切换两种评估范式，并输出详细、结构化且易读的自然语言评论。性能上，Auto-J的评估效果仅次于GPT-4，且显著优于其他开源或闭源模型，同时降低了评估成本。实验证明，Auto-J在多个任务上的表现均优于基线模型。此外，研究团队还公开了Auto-J的模型、训练和测试数据、场景定义文件和参考评估标准，以及用户问询场景分类器等资源，以促进该领域的研究和发展。

Auto-J 大模型 2024-04-08

ComfyUI

造梦师手记：ComfyUI快速量产数字小姐姐

文章描述了一个免费的“订单”任务，即帮助一个由7名女生组成的小团队将生活照转换为动漫风格，以便在演讲中更具吸引力。作者使用AI技术完成了这项任务，包括使用Face ID插件和comfyUI界面，解决了显存不足的问题。作者详细描述了Face ID插件的安装和工作流配置过程，并通过与团队成员的沟通，逐一生成了满意的动漫风格照片。最终，这些照片被团队成员用PS合成并展示在大屏幕上，效果惊艳。虽然这不是最优解，但作者认为逐张生成的方式是一个可行的解决方案。

comfyui 文生图 2024-04-08

大模型

国内AI大模型已近80个，哪个最有前途？

本文总结了大模型时代中几家有前途的公司，包括字节、百度、Moonshot和智谱，以及大厂和创业公司可能遇到的问题。字节有多模态中文私有数据、OpenAI研究科学家和大量GPU资源，百度有先发优势、高重视程度和丰富的文本数据积累。Moonshot团队专业且和谐，模型水平超过GPT-3.5。智谱有独特的商业模式和较大的融资额。大厂可能面临资源碎片化、部门墙厚、传统AI research taste阻碍等问题，而创业公司可能遭遇Founder dispute、患上大公司病、技术不够成熟就急于发布等问题。此外，买不到/租不到GPU和拉不到下一轮投资也是普遍的挑战。

大模型 2024-04-08

微调

NEFTune：在Embedding中加入噪⾳提⾼指令微调效果！

本文介绍了NEFTune技术，即在训练过程中向嵌入向量添加均匀随机噪声，以改善大型语言模型（LLM）的微调性能。研究结果显示，使用NEFTune技术可以显著提高LLM在对话任务上的性能，同时保持对其他任务性能的稳定性。NEFTune技术是一种简单而有效的正则化方法，可以缓解模型在指令微调阶段的过拟合现象，并更好地利用预训练阶段的知识内容。虽然研究还存在一些局限性，但NEFTune的成功表明了算法和正则化对LLM训练的重要性。

NEFTune 指令微调 2024-04-08

Stable Diffusion

Stable Diffusion超清放大及修复细节操作

本文介绍了使用Stable Diffusion模型进行低分辨率图片超清放大和修复细节的方法。通过具体实操案例，详细说明了生成图片、发送到图生图和后期处理的步骤，包括模型选择、参数设置和放大算法等。该方法仅需低显存即可实现高分辨率图片的生成和细节修复，操作简单，效果显著。

超清放大细节修复 2024-04-08

OpenAI

OpenAI 上线新功能力捧 RAG，开发者真的不需要向量数据库了？

本文探讨了OpenAI的开发者大会上推出的GPT-4 Turbo模型、全新Assistants API和一系列增强功能。其中，Assistants API的内置工具支持了代码解释器、知识库检索以及函数调用，能帮助开发者构建高质量的AI应用。然而，其内置的检索功能存在可扩展性、定制化和多租户支持等方面的限制。为了克服这些限制，文章介绍了使用Milvus向量数据库实现自定义检索功能的方法。通过集成Milvus，开发者可以构建高效、可扩展的检索器，满足多样化的用例需求。文章最后总结了OpenAI Assistants内置检索功能的局限性，并强调了使用向量数据库进行自定义检索的重要性。

OpenAI新功 RAG与向量库 2024-04-08

提示词

GPT提示词必杀技：思维树法

本文介绍了思维树方法，一种优化语言模型提示词的编写技巧。思维树通过将问题分解为多个子问题，每个子问题提供多种解决方案，模型评估后选出最优解。以写诗和数学问题为例，展示了如何使用思维树指导模型生成更精确、更有创意的答案。使用思维树后，模型能更好地理解问题，并给出更准确的答案。

GPT提示词思维树法 2024-04-08

Stable Diffusion

[Stable Diffusion]Segment Anything实现商业换装

SegmentAnything是一款基于深度学习的图像分割工具，通过自动检测提高分割效率。安装方法包括扩展面板和GitHub安装，并需下载并放置SAM模型。使用时，通过添加标记点定义提取区域，预览分离结果后可选择蒙版进行编辑和替换。结合controlnet，如openpose，可以控制人物身体姿势。最终生成的效果图展示了人物发型的成功替换。

StableDiffusion 商业换装 2024-04-08