广东湛江怎么做网站教程,wordpress输出文章标签名,成都建设网站专业,一级a做爰片了网站参考#xff1a;Langchain-Chatchat 阿里通义千问Qwen 保姆级教程 | 次世代知识管理解决方案 - 知乎 (zhihu.com)
该文档没有安装成功#xff0c;安装成功的文档 可见#xff1a;Langchain-Chatchat的安装过程-CSDN博客
中文LLM生态观察
模型
就开源的部分而言#xf…参考Langchain-Chatchat 阿里通义千问Qwen 保姆级教程 | 次世代知识管理解决方案 - 知乎 (zhihu.com)
该文档没有安装成功安装成功的文档 可见Langchain-Chatchat的安装过程-CSDN博客
中文LLM生态观察
模型
就开源的部分而言从一开始的MOSS[1] ChatGLM[2] ChatGLM2 [3] 到后来的 baichan [4] 基于LLama2 微调的 中文LLama2 [5] 再到最近开源的 通义千问 Qwen [6] 。 至于更多模型和相关评分榜单可以看一直在维护更新模型汇总的文章。 参考大语言模型汇总索引帖持续更新 - 知乎 (zhihu.com)
基于langchain的智能助手 其中比较突出的之前我觉得是ChatGLM系列 不过现在我认为是最近开源的 Qwen 通义千问。 各家都有一个比较好的做法就是去适配一套和OpenAI gpt3.5一致的API 方便大家在测试和搭建不同模型时快速的切换减少大量阅读接口文档的时间。 通义千问干脆直接默认API部署代码做成OpenAI API 格式 生态
除了大语言模型本身相关的基建生态也是我们需要持续关注的。 其中最出名的当属基于相当于LLM应用中间件的 LLama Index 、 Langchain框架 和 AIGC时代数据持久化层的 各大向量数据库。
使用 FastChat 提供开源 LLM 模型的 API以 OpenAI API 接口形式接入提升 LLM 模型加载效果使用 langchain 中已有 Chain 的实现便于后续接入不同类型 Chain并将对 Agent 接入开展测试使用 FastAPI 提供 API 服务全部接口可在 FastAPI 自动生成的 docs 中开展测试且所有对话接口支持通过参数设置流式或非流式输出使用 Streamlit 提供 WebUI 服务可选是否基于 API 服务启动 WebUI增加会话管理可以自定义会话主题并切换且后续可支持不同形式输出内容的显示项目中默认 LLM 模型改为 THUDM/chatglm2-6b默认 Embedding 模型改为 moka-ai/m3e-base文件加载方式与文段划分方式也有调整后续将重新实现上下文扩充并增加可选设置项目中扩充了对不同类型向量库的支持除支持 FAISS 向量库外还提供 Milvus, PGVector 向量库的接入项目中搜索引擎对话除 Bing 搜索外增加 DuckDuckGo 搜索选项DuckDuckGo 搜索无需配置 API Key在可访问国外服务环境下可直接使用。
架构
其实LangChain-Chatchat 前身是 langchain-chatglm 即为chatglm 制作的 langchain 组件 下面是早期项目的流程原理图
简单来说就是把本地的一些文档( doc txt md csv json ...) 先通过一系列处理 读取 分词 embedding模型编码成一定数量的高维向量 下图中 1到6
而用户原本直接和LLM对话的文本 也会通过embedding 模型编码成高维向量 下图中 8 9
然后通过计算余弦相似度的方式 下图中10和7 来检索本地文档库中可能提供帮助的相关资料
再和原用户的问题文本 结合 下图中11
经过预先我们准备好的提示词模板 Prompt Template 组装成最后的 Prompt 提示词 下图中12 13
去问LLM 下图中14 15
简单来说embedding模型是一种通过将输入数据转换为稠密的实值向量也称为嵌入来解决机器学习问题的技术。这种转换使得原始输入数据可以在一个新的、潜在的空间中表示其中相似的输入被映射到彼此接近的位置而不同的输入则被映射到远离的位置。
embedding模型最早在自然语言处理领域得到广泛应用其中最著名的例子可能是word2vec模型。在这种模型中每个单词都被映射到一个固定的向量向量之间的距离可以反映两个单词在语义上的相似程度。
除了自然语言处理之外embedding模型还广泛应用于计算机视觉、社交网络分析等领域。例如在图像识别中我们可以将每张图片映射到一个高维向量向量之间的距离可以反映两张图片之间的相似度在社交网络分析中我们可以将每个用户映射到一个向量向量之间的距离可以反映两个用户之间的相似度等等。
总之embedding模型提供了一种有效的方式来捕获数据中的复杂结构和关联因此它已经成为许多机器学习应用的重要组成部分。
模型下载方法汇总
通义千问 Qwen-7B-Chat-Int4 模型本地化部署-CSDN博客
git clone https://www.modelscope.cn/Jerry0/m3e-base.git
2.0版本在原有基础上
增加了支持的大语言模型 比如我们今天要讲的通义千问 。
增加了支持的向量数据库 比如本文中使用的Milvus。
增加了搜索引擎能力的集成 让LLM能利用外部实时信息 比如本文中使用的DuckDuckGO。 git clone https://github.com/imClumsyPanda/langchain-ChatGLM.git cat requirements.txt pip install -r requirements.txt 配置文件修改
复制模型相关参数配置模板文件 configs/model_config.py.example 存储至项目路径下 ./configs 路径下并重命名为 model_config.py。
复制服务相关参数配置模板文件 configs/server_config.py.example 存储至项目路径下 ./configs 路径下并重命名为 server_config.py。
参考win10 安装 Langchain-Chatchat 避坑指南2023年9月18日v0.2.4版本包含全部下载内容-CSDN博客 embedding模型 、llm模型、 向量数据库 、 prompt template 后面这俩我们先使用默认即可
llm模型
将local_model_path 的值改为你机器上存放千问模型的路径 感觉配置的不对 待验证 参考大模型部署手记16ChatGLM2UbuntuLongChain-ChatChat-CSDN博客
cp basic_config.py.example basic_config.py
cp kb_config.py.example kb_config.py
cp prompt_config.py.example prompt_config.py
知识库初始化
当前项目的知识库信息存储在数据库中在正式运行项目之前请先初始化数据库
cd ..
python init_database.py --recreate-vs 从给出的错误信息来看PyTorch和torchvision是用不同的CUDA主要版本编译的PyTorch使用的是CUDA 12.1版本而torchvision使用的是CUDA 11.8版本为了解决这个问题你需要重新安装与PyTorch版本相匹配的torchvision
pip uninstall torchvision pip install torchvision -f https://download.pytorch.org/whl/cu121/torch_stable.html python init_database.py --recreate-vs 还是有些问题 GPU版本不对
启动
python startup.py --all-webui
