开源法学硕士：使用 RAG 在本地实现不受审查且安全的人工智能

私人聊天GPT 替代方案：Llama3、Mistral 等，带有函数调用、RAG、矢量数据库、LangChain、AI-Agents

讲师：Arnold Oberleiter

---

您将学到什么

• 为什么要选择开源法学硕士？开源法学硕士和闭源法学硕士的区别、优点和缺点
• ChatGPT、Llama、Mistral、Phi3、Qwen2-72B-Instruct、Grok、Gemma 等法学硕士有哪些？
• 有哪些法学硕士课程可供选择？我应该选择哪一门？寻找“最佳法学硕士课程”
• 本地使用开源法学硕士的要求
• LM Studio、Anything LLM、Ollama 的安装和使用以及操作 LLM 的替代方法
• 受审查的法学硕士与不受审查的法学硕士
• 使用 Huggingface 或 Google Colab 对开源模型进行微调
• 使用开源 LLM 进行视觉（图像识别）：Llama3、Llava 和 Phi3 Vision
• 硬件详细信息：GPU 卸载、CPU、RAM 和 VRAM
• 关于 HuggingChat：使用开源 LLM 的界面
• 提示工程中的系统提示 + 函数调用
• 提示工程基础：语义关联、结构化和角色提示
• Groq：使用开源 LLM 和快速 LPU 芯片代替 GPU
• 矢量数据库、嵌入模型和检索增强生成 (RAG)
• 使用 Anything LLM 和 LM Studio 创建本地 RAG 聊天机器人
• 链接 Ollama 和 Llama 3，并使用 Llama 3 和任何 LLM 进行函数调用
• 使用 Python 函数调用来汇总数据、存储和创建图表
• 使用 Anything LLM 的其他功能和外部 API
• 使用 Firecrawl 处理网站数据，使用 LlamaIndex 和 LlamaParse 处理 PDF 和 CSV 数据，打造更高效的 RAG 应用的技巧
• AI 代理的定义和可用工具、使用 Node 在本地安装和使用 Flowise（比 Langchain 和 LangGraph 更简单）
• 创建生成 Python 代码和文档的 AI 代理，并使用具有函数调用、Internet 访问和三个专家的 AI 代理
• 托管和使用：您应该构建哪个 AI 代理以及使用 Google Colab 进行外部托管和文本转语音 (TTS)
• 使用 Google Colab 对开源 LLM 进行微调（Alpaca + Llama-3 8b、Unsloth）
• 使用 Runpod 或 Massed Compute 租用 GPU
• 安全方面：越狱以及针对 LLM 的越狱、即时注入和数据中毒攻击的安全风险
• 数据隐私和安全，以及商业使用和销售生成内容的政策

显示更多显示较少

探索相关主题

• 检索增强生成 (RAG)
• 数据科学
• 发展

要求

• 无需任何先验知识；一切都会逐步展示。
• 拥有一台配有优质显卡、16 GB RAM 和 6 GB VRAM 的 PC 是有优势的（Apple M 系列、Nvidia 和 AMD 是理想的选择），但这不是强制性的。

描述

ChatGPT 很有用，但您是否注意到，有许多主题受到审查，您被推向某些政治方向，一些无害的问题得不到回答，而且我们的数据在 OpenAI 中可能不安全？这就是 Llama3、Mistral、Grok、Falkon、Phi3 和 Command R+ 等开源 LLM 可以提供帮助的地方！

您准备好掌握开源法学硕士的精髓，并充分发挥其在各种应用中的潜力了吗？从数据分析到创建聊天机器人和人工智能代理。那么本课程正适合您！

开源法学硕士简介

本课程全面介绍了开源法学硕士 (LLM) 的世界。您将了解开源和闭源模型之间的差异，并发现为什么开源法学硕士 (LLM) 是一个有吸引力的替代方案。课程将详细介绍 ChatGPT、Llama 和 Mistral 等主题。此外，您还将了解可用的法学硕士 (LLM) 以及如何根据您的需求选择最佳模型。本课程特别强调了闭源法学硕士 (LLM) 的缺点以及 Llama3 和 Mistral 等开源法学硕士 (LLM) 的优缺点。

开源法学硕士的实际应用

本课程将指导您以最简单的方式在本地运行开源 LLM，以及此设置所需的条件。您将了解先决条件、LM Studio 的安装以及操作 LLM 的替代方法。此外，您还将学习如何在 LM Studio 中使用开源模型，了解审查和未审查的 LLM 之间的区别，并探索各种用例。本课程还涵盖使用 Huggingface 或 Google Colab 对开源模型进行微调以及使用视觉模型进行图像识别。

及时工程和云部署

本课程的一个重要部分是开源 LLM 的即时工程。您将学习如何使用 HuggingChat 作为界面，在即时工程中使用系统提示，以及应用基本和高级即时工程技术。本课程还提供了有关在 HuggingChat 中创建自己的助手以及如何使用快速 LPU 芯片（而不是 GPU）的开源 LLM 的见解。

函数调用、RAG 和矢量数据库

了解 LLM 中的函数调用是什么以及如何实现矢量数据库、嵌入模型和检索增强生成 (RAG)。本课程向您展示如何安装 Anything LLM、设置本地服务器以及使用 Anything LLM 和 LM Studio 创建 RAG 聊天机器人。您还将学习使用 Llama 3 和 Anything LLM 执行函数调用、汇总数据、存储数据并使用 Python 对其进行可视化。

优化和人工智能代理

为了优化您的 RAG 应用程序，您将获得有关数据准备和有效使用 LlamaIndex 和 LlamaParse 等工具的提示。此外，您还将了解 AI 代理的世界。您将了解什么是 AI 代理、有哪些工具可用，以及如何在本地安装和使用 Node.js 的 Flowise。该课程还提供了创建生成 Python 代码和文档的 AI 代理以及使用函数调用和互联网访问的实用见解。

其他应用和技巧

最后，本课程介绍了使用 Google Colab 进行文本转语音 (TTS) 以及如何使用 Google Colab 对开源 LLM 进行微调。如果您的本地 PC 不够用，您将学习如何从 Runpod 或 Massed Compute 等提供商那里租用 GPU。此外，您还将探索 Microsoft Autogen 和 CrewAI 等创新工具以及如何使用 LangChain 开发 AI 代理。

利用开源 LLM 技术的变革力量来开发创新解决方案并扩展您对其各种应用的理解。立即注册并开始成为大型语言模型领域专家的旅程！

本课程适合哪些人：

• 对于想要学习新知识并深入研究 RAG、函数调用和 AI 代理等开源 LLM 的每个人
• 对于想要提高效率并节省资金的企业家
• 对于开发者、程序员和技术爱好者来说
• 对于那些不想受到大型科技公司限制并希望使用不受审查的人工智能的人来说