首页 AI
开发
前端 Java Android Python Flutter Tauri
归档 留言 关于
搜索 Xinference 共找到 6 条记录
全部 开发 AI
AI   2025-05-22 10:18   488   0  
上个视频中说到了按照官方文档安装的Xinference 启动的模型是使用CPU推理的 并没有调用GPU来推理 这个视频就来说说如何调用GPU 我在GitHub这里找到了解决方案 上个视频中升级了llama-cpp-python 但是只是升级还不够 还需要在安装llama-cpp-python的时候加一个参数
ai Dify Xinference deepseek 问答机器人
AI   2025-05-22 10:17   456   0  
上个视频中说到的HUB目录到模型文件的路径 可以参考视频顶部我这里的路径 我这里填写的是Q5_K_M的模型路径 模型大小这里填写1.5，也就是1.5B的意思 量化这里填写就填Q5_K_M 量化的具体说明可以我观看上一个视频 如果你下载了多个GGUF文件的话 比如我这里还下载了Q6_K、Q8_0模型
ai Dify Xinference deepseek 问答机器人
AI   2025-05-11 19:40   410   0  
现在来说说适用于Xinference的模型格式选择与下载 我们需要手动下载模型文件来部署 所以xinference首页这里的内置模型就不用理会了 点击左侧的“注册模型”按钮切换到模型注册页面 后面模型文件下载之后就在这里配置和部署 模型文件可以在魔塔社区下载 在搜索这里搜索自己想要下载的模型即可
ai Dify Xinference deepseek 问答机器人
AI   2025-05-07 15:27   409   0  
因为我这里上面已经有一个Xinference容器了 所以这里我把端口和容器名都改一下 这里注释掉的配置是目录的映射配置 目录映射这里有3个目录需要映射
ai Dify Xinference deepseek 问答机器人
AI   2025-05-06 17:05   440   0  
我这里选择在WSL2中使用Docker安装Dify 先用Xshell登录WSL2 接下来的操作都在Xshell里操作 安装步骤比较简单 跟着Dify官方文档一步一步来就行了 首先克隆源代码到本地 克隆后面的版本号可以改成最新的版本号 源代码也可以到GitHub去下载 最新版本号可以到Releases这里查看
ai Dify Xinference deepseek 问答机器人
AI   2025-05-06 17:04   482   0  
搭建一个本地知识库问答机器人需要在本地部署两个工具 AI 知识库构建平台和AI大模型部署工具 AI 知识库构建平台的选择有：Dify、FastGPT AI大模型部署工具：Xinference、Ollama 本视频集选择的是Dify和Xinference Dify和FastGPT各有优缺点
ai Dify Xinference deepseek 问答机器人
1
怡和路恶霸
分类
开发 （31）
AI （6）
标签
开发 21 编程 20 java 13 idea 2 springboot 10 前端 3 javascript 3 ECharts 1 开源 11 android 4 app 6 地理信息 2 测量工具 1 arcgis 1 磁力搜索 2 磁力下载 1 种子下载 1 视频下载 4 typecho 3 博客 3 主题 3 插件 3 车牌识别 1 postgresql 2 https 2 ssl 2 证书申请 2 免费证书 2 docker 1 pgpool 1 数据库 2 集群 1 负载均衡 1 读写分离 1 flutter 3 m3u8 3 下载器 3 aria2 3 ffmpeg 3 跨平台 4 若依 9 微服务 9 后台管理 9 vue 11 jdk 1 vscode 1 mysql 1 nodejs 1 redis 1 nacos 1 Sentinel 1 后端 1 web 1 ai 6 Dify 6 Xinference 6 deepseek 6 问答机器人 6 地图下载 1 Tauri 3 vite 3 Openlayer 1
友情链接