优秀的编程知识分享平台

网站首页 > 技术文章 正文

Open WebUI访问llama3(open webos)

nanyue 2024-08-16 19:50:42 技术文章 23 ℃

一 、OpenWebUI的基本功能

Open WebUI是一个自托管的Web用户界面,它提供了一系列丰富的功能,包括对多种大型语言模型(LLM)的支持、直观且响应式强的聊天界面、快速的系统性能、以及易于安装的特性。用户可以根据自己的喜好定制主题,享受代码语法高亮和全面的Markdown及LaTeX支持。此外,它还具备本地和远程检索增强生成(RAG)集成、多模型支持、多模态交互、模型文件构建器、协作聊天、本地聊天共享、以及聊天记录管理等功能。Open WebUI还支持语音输入、文本到语音端点配置、图像生成集成、OpenAI API集成、多用户管理、Webhook集成、模型白名单、基于角色的访问控制、后端反向代理支持,以及多语言支持。它旨在提供用户友好的体验,并允许用户无缝地管理模型和进行高效的聊天互动。

二、个人电脑上安装OpenWebUI

最简单的安装方法是通过docker, 然后就只需要一个命令就可以按进去

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

这个里面是调用本来安装的ollama,通过ollama安装后的开放出来的url(默认是http://localhost:11434/api/chat)端口来访问的,也可以配置访问其他电脑安装的ollama

本地安装ollama,可以参考《10分钟在笔记本上安装Llama 3》

docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

运行后,会拉取容器,自动运行,就可以在浏览器上通过端口3000来访问: http://localhost:3000


首次登录需要输入邮箱和密码进行注册,登记进去后chat界面


上面可以选择本地安装的ollama模型

然后就可以通过网页方式自己输入进行问答了


这些都是直接在我自己笔记本上运行的,速度还算过得去

最近发表
标签列表