全营销数字服务平台丨榕媒圈

标签： 知识库

  • 本地 Ollama + AnythingLLM 搭建知识库

    本地 Ollama + AnythingLLM 搭建知识库

    背景
    前几天已分享了几篇关于 DeepSeek-r1 大模型的文章，有详细的安装操作步骤，需要的可以点击下面的链接跳转回看。
    《体验本地部署 DeepSeek-r1 服务》
    《给本地 DeepSeek-r1 服务安装 WebUI 界面》
    《体验使用满血版的 DeepSeek-r1 大模型》
    今天继续分享，本地 Ollama + AnythingLLM 搭建的知识库。
    工具下载及安装

    官网

    https://ollama.com/

    0


    配置 Ollama

    之前分享了一篇关于《修改 Ollama 工具下载大模型的存储目录》，只是把下载的大模型路径修改了，Ollama 工具本身的目录没有修改，今天分享这篇，将详细的把 Ollama 工具默认安装的路径，也修改到其他磁盘目录下，这样就不用担心默认安装在C盘下，导致C盘系统空间紧张的问题。


    下载好 Ollama 安装包之后，不要先执行默认安装，只需要先按下面几步操作执行，就可以把 Ollama 工具安装到其他磁盘目录下，下载的大模型也都放到其他目录下，谁试谁知道这样的好处 


    1、先设置安装目录，按自己的习惯配置存储路径。

    首先打开一个 CMD 终端窗口，要以管理员的身份打开 PowerShell  CMD 窗口，这样才有权限执行环境变量的修改。

    可以看到，我设置的路径在 D:ProgramFilesollama 目录下。


    2、把下载的 Ollama 安装文件，放到上面创建好的目录下。


    3、执行安装文件，进行安装，安装过程如下所示，安装路径已按上面配置的路径进行安装了。
    安装完成后，安装窗口会自动关闭，Ollama 工具会在系统托盘处出现一个常驻的 Ollama 图标，说明服务已正常启动运行，如下图所示。




    4、下载个大模型验证一下，可以看到下载的 32b 大模型，也同样存储到指定的路径下了。

    0

    Ollama 的安装配置就完成了。

    下载 Anything


    官网

    https://anythingllm.com/

    0

    安装 Anything

    0
    可以选择自己的存储路径进行安装

    0

    安装完成后，首页如下图所示。

    0

    选择本地的大模型

    0

    选择本地的大模型
    0

    点击右箭头，进行下一步。
    0

    Skip 跳过即可

    0

    Anything 首页

    0

    对话测试验证

    0


    deepseek-r1:14b  给出的对话结果

    0

    配置本地知识库配置


    点击 Open settings

    0


    点击第一个功能按钮，人工智能提供商，打开 LLM 首选项。

    0


    选择 Ollama 

    0


    配置好之后，如下图所示。

    0


    在点击 Embedder 首先项，选择 Ollama 后也会显示跟上图一样的配置，系统自动带出。

    配置好之后，返回首页对话框。



    然后点击 向上箭头按钮，如下图位置。

    0


    点击绿框处上传知识文档

    0


    知识文档上传后，点击 Move to Workspace ，文档就自动移动到右边了。

    0


    然后点击保存即可

    返回首页的对话框，进行正常对话提问，比如我提的 kubeS ，首先可以联网搜索结果，也可以搜索本地的知识库文档，如下图所示。


    在提一个 k8s ，本地的知识库里的 k8s 相关的文档，也就显示出来了。
    点击文档，就能直接打开查看了。

    到此，今天分享的主题 本地 Ollama + AnythingLLM 搭建知识库 就结束了。



    写在最后

    人生成长过程是一场既复杂又漫长的旅程，它涵盖了个人在生理、心理、情感和社会等多个层面的发展与转变。这一过程需要我们不断地进行自我反思和经验总结，积极地学习并弥补自身的知识盲区，以便提升个人能力。同时，我们也应该鼓励彼此共同进步，对于文章中分享的观点，如果有不恰当或错误的理解，我诚挚地希望得到大家的指正和建议。让我们通过留言交流，或者加微信交流，共同促进彼此的成长与进步。