训练魔法-AI魔法学院

训练魔法

性能超出预期！神秘的国产大模型 Kimi 开放 API

本文介绍了名为Moonshot的大模型，它以其超长上下文能力（支持20万字）脱颖而出。通过测试，Moonshot在性能、对提示词的理解能力、角色扮演能力以及特定应用场景中的表现均令人印象深刻。其Token利用率高，且API设计兼容OpenAI，为开发者提供了便利。Moonshot的开放平台吸引了众多开发者，并提供了良好的技术支持和文档。总体而言，Moonshot作为AI生态圈的新锐力量，展现出了令人欣喜的潜力和前景。

Kimi Chat 大模型 API 2024-05-16

将任意文本转换为知识图谱

本文介绍了知识图谱的概念及其构建过程，包括清理文本语料库、提取概念和实体、提取关系、转换图形模式、填充节点和边，以及可视化和查询。文章还强调了知识图谱的用途，如运行图算法、计算社区和理解概念间的联系。项目通过分割文本块、提取概念及关系、分组相似对并计算权重来构建知识图谱，同时计算节点度数和社区以调整图形表示。项目可在个人计算机上运行，无需调用GPT，具有经济性。

知识图谱转换文本 2024-05-15

百万token上下文窗口也杀不死向量数据库？CPU笑了

“Claude 3、Gemini 1.5等大语言模型因其超长的上下文窗口，被业界视为可能终结RAG（检索增强生成）技术的流派。RAG依赖外挂知识库提供准确知识，提高生成内容质量。尽管大模型的超长上下文窗口在某些方面显示出优势，但其在速度、价值、体量和多样性等方面仍存在明显缺陷。相比之下，RAG得益于向量数据库技术，能规避这些缺陷。腾讯云发布的VectorDB向量数据库，通过提供高效的存储、检索和分析能力，成为连接数据与AI的桥梁。该数据库支持多种索引类型和相似度计算方法，并通过与英特尔合作，在CPU平台上实现显著性能加速。尽管AI模型能力不断提升，但AI系统的综合性能还需考虑其他组件的配合。因此，向量数据库等技术在AI平台化发展中仍具重要价值。”

向量数据库大模型 cpu 2024-05-15

如何构建基于大模型的App

文章概括了基于大模型开发业务应用的现状、挑战和策略。文章指出，虽然并非所有组织都需要训练大模型，但基于大模型开发业务应用已成为趋势。文章强调了理解大模型的能力边界、利用LLM进行语言理解和处理、推理、审查、文本转换等任务的重要性。同时，提出了利用模型微调和上下文注入来回答LLM无法知道的问题的方法。文章还指出了基于大模型API构建应用所面临的问题，如响应不可预测、与目标应用数据和用例不相关等，并提出了构建基于大模型应用的系统架构的思考，包括应用编排器、任务计划器、上下文和记忆型数据的向量存储、提示和响应管理器、效果评估器以及大模型管理器等组件。最后，文章给出了一个构建基于大模型应用的简单示例，并总结了利用大模型为业务赋能的挑战和策略。

构建大模型App 2024-05-15

主流网络爬虫蜘蛛详解

文章简洁精练的总结如下：文章介绍了网络爬虫的概念，强调区分真伪蜘蛛并了解各种蜘蛛的重要性，以避免不必要的资源浪费。文中列举了多个主流搜索引擎和工具的爬虫，包括Googlebot、Bingbot、Baiduspider、Bytespider等，并提供了它们的识别特征和UA（用户代理）字符串。同时，文章也介绍了如何根据实际需要，通过robots.txt文件屏蔽不必要的爬虫，以及针对特定搜索引擎优化网站的方法。此外，文章还提供了爬虫特征字符串的汇总整理版，方便程序员直接使用。整体而言，文章旨在帮助网站管理员更好地管理和优化网站，提高网站在搜索引擎中的表现。

爬虫蜘蛛详解 2024-05-15

构建开源多模态RAG系统

本文深入探讨了使用开源大型语言多模态（LLMM）技术构建检索增强型生成（RAG）系统的过程，而不依赖于特定的框架如LangChain或Llama索引。文章首先介绍了RAG系统的核心概念，即通过允许模型从外部来源动态检索实时信息来增强AI的理解和输出能力。然后，解释了多模态学习的意义，即通过教导计算机理解和学习不同类型的信息（如图像、文本或语音）来做出更好的预测。接着，文章提出了一个构建RAG管道的方案，其中涉及使用CLIP嵌入图像和文本，并将这些数据存储在ChromDB向量数据库中。最后，利用Hugging Face的MLLM根据检索到的信息参与用户聊天会话。作为示例，文章描述了一个创建花专家聊天机器人的过程，包括数据预处理、创建向量数据库以及使用多模态嵌入函数进行检索。该方案通过整合不同的模态和嵌入技术，提高了AI模型在处理复杂和多样化数据时的准确性和可靠性。此外，RAG系统通过减少幻觉和增加透明度，提高了AI决策的可信度和可解释性。这种经济高效的方法为改进AI输出提供了一种新的途径，而无需进行广泛的重新训练或微调。综上所述，本文介绍了一种利用开源技术和多模态学习构建高效RAG系统的方法，该方法具有增强AI理解和输出能力、提高准确性和可靠性、减少幻觉和增加透明度等优点，为AI应用的发展提供了新的思路。

RAG 大模型 2024-05-13

大模型训练工程那些事

本文围绕大模型训练工程进行了深入探讨，将其与历史上的曼哈顿计划相提并论，凸显了其在当代科技领域的重要性。文章从技术原理、数据算力与资源、时间计划等方面，分析了大模型训练工程的复杂性和挑战性。在技术原理方面，文章介绍了Scaling Laws等科学原理在指导大模型训练中的应用。在数据、算力和资源方面，文章揭示了数据规模、模型规模和计算资源对AI模型性能的影响，并讨论了算力租赁、国产替代等当前面临的问题。在时间计划方面，文章预测了大模型训练迭代和应用的紧迫性，并强调了资源规划和差异化能力的重要性。总结来说，本文认为大模型训练工程是一项集科技、人力、资源和时间于一体的复杂系统工程，其发展和应用将对社会产生深远影响。文章呼吁产业界和学术界共同努力，推动大模型技术的发展和应用，为产业变革和社会进步贡献力量。

训练工程大模型 2024-05-13

如何看待大型语言模型的Prompt

本文回顾了Word2Vec中的词语算术现象，并探讨了大型语言模型（LLMs）与Word2Vec之间的相似之处。文章指出，两者都将标记（单词或子词）嵌入到向量空间中，并通过优化目标将相关标记在嵌入空间中拉近。LLMs通过自注意力机制学习嵌入空间，并展现了语义连续性和可插值性。此外，文章强调了LLMs在向量程序方面的强大能力，能够执行复杂的转换任务。最后，文章指出LLMs可以视为程序数据库，并通过提示工程在程序空间中搜索最佳程序。文章提醒读者理解LLMs时应避免拟人化倾向。

prompt 大语言模型 2024-05-13

强大高效的微信爬虫Wechat_Articles_Spider：快速获取公众号文章的利器

wechat_articles_spider是一个用于爬取微信公众号文章的Python工具，具备自动化、多线程、可定制化和数据持久化等特点。用户可安装后通过导入模块进行使用，它可应用于数据分析、媒体监测和学术研究等场景。但需注意遵守法律法规和网站规则，避免滥用。

微信爬虫 2024-05-13

大模型推理能力增强方法总结

推理能力作为智慧的重要象征，近年来在研究和讨论中备受关注。相关工作主要分为思维链提示、生成器加验证器以及两者混合方法。思维链提示通过向大语言模型展示少量样例，引导其展示推理过程，从而提高答案准确性。零样本思维链则通过简单提示，使模型能生成思维链。多数投票方法通过生成多个思维链并取多数答案，显著提高性能。思维树和思维图谱方法则通过组织推理步骤为树形或图形结构，提高推理的系统性和深度。思维程序方法要求模型生成可执行程序，以更清晰的方式展示推理过程。自动构建思维链和验证器方法则通过自动构建问题和推理链的演示，以及引入验证器对推理过程进行验证，提高推理的准确性和效率。累积推理方法则将整个推理过程建模为有向无环图，利用多个大语言模型协同工作，实现更深入的推理。这些方法共同推动了大语言模型在推理能力方面的发展。

推理能力大模型 2024-05-10

国内首个！最火的MoE大模型APP来了，免费下载，人人可玩

本文介绍了昆仑万维最新发布的天工2.0大模型，该模型采用与GPT-4同款的MoE混合专家结构，具备强大的多模态能力和超长的上下文窗口，能够提升复杂任务的处理能力和模型响应速度。天工2.0大模型已应用于新版天工AI智能助手APP，该APP支持多模态对话、数据分析和图文创作等功能，并且向全体C端用户免费开放。天工AI智能助手也因此成为国内首个搭载MoE架构并免费开放的AI应用。此外，天工AI智能助手还具备联网智能搜索能力，通过大模型技术提升搜索结果的准确性和质量。文章强调了大模型应用落地趋势的开启，以及天工AI智能助手在技术升级和玩法丰富方面的引领作用，认为这将有助于更多人拥抱大模型趋势，探索人类和大模型更好的交互方式。

MoE大模型 APPa 2024-05-10

如何提升 GPTs 的翻译效果？

GPT的出现不仅提高了翻译效率，更增强了翻译的可控能力。通过对比不同翻译软件的翻译结果和GPT的直译、意译及润色后的版本，展现了GPT在翻译方面的优势。文章还展示了GPT的翻译Prompt，强调了翻译后内容的二次润色对于提升翻译质量的重要性，突显了GPT在翻译中的优势在于对翻译结果的可控性。

GPT 翻译 2024-05-10

数据分析思路系列-如何建立指标体系

文章讨论了数据分析师在搭建和拆解指标体系时的工作方法和原则。指标体系是为了完成某一业务目标而建立的一套反映该目标结果的指标。搭建指标体系时，应坚持从业务出发的基本原则，首先关注公司的利润，然后拆解为收入、成本等关键指标。文章还介绍了如何根据业务逻辑进行一级和二级指标的拆解，并强调了指标体系的灵活性和可维护性。通过实际案例，展示了如何为特定业务（如教育公司的活跃业务）搭建指标体系。

数据分析指标体系 2024-05-10

浅浅介绍下中文分词，用这些库搞定

本文介绍了Python中常用的中文分词库，包括jieba、SnowNLP、pyltp和THULAC，并重点介绍了jieba库的安装和使用方法，包括精确模式、搜索引擎模式和全模式的分词，以及自定义词典、关键词提取、词性标注等功能的介绍。同时，本文还通过一个示例展示了如何使用jieba库对文本进行分词，并结合WordCloud和matplotlib库生成词云图像。

Python 分词库 2024-05-09

让AI帮你读财报：Reportify让你看得清、聊得深

Reportify是一款使用微软Copilot的AI分析工具，专注于解读公司财报。其优势在于信息新鲜、更新及时和专业输出。体验者对其专注感和陪伴感印象深刻，特别是财报分析结果的结构化摘要和与AI对话的能力。Reportify还提供财报对应电话会的总结与对话，以及公司相关新闻的分析。然而，新闻功能的优先级较低，未深入开发。建议Reportify聚焦从半专业到专业层级的用户，以公司为核心场景，提升用户体验。同时，注意导航设计和回顾会话时的消耗问题，并考虑加入KOL观点以增强特色。

Reportify 读财报 2024-05-09

<...11 12 13 141516 17 18 19 20 ...>

汇聚AI资讯，网罗AI文档，详解AI工具！

关于我们用户协议隐私条款商务合作：skillupvip

© 2023-2025 AI魔法学院

京ICP备20027199号-1