您当前的位置:首页 >> 快讯 >> 
动态:开源LocalAI本地人工智能安装教程

时间:2023-06-14 06:59:50    来源:河指令

LocalAI是一款能在本地运行的人工智能应用,它兼容了OpenAI API规范,它可以在普通的电脑运行,不需要GPU,也不需要联网,音频转录、使用 GPT 生成文本、使用稳定扩散生成图像(实验),支持与ggml格式兼容的多个模型系列llama、gpt4all、rwkv、whisper、vicuna、koala、gpt4all-j、cerebras、falcon、dolly、starcoder 等,一句话总结:本地运行,无需联网,只要有模型, 我们就可以轻松运行使用。

功能

1.本地的 OpenAI 嵌入式替代 REST API。你拥有你的数据。 2.无需 GPU。也不需要互联网访问。可选,GPU 加速在兼容的 LLM 中可用llama.cpp。 3.支持多种模型、音频转录、使用 GPT 生成文本、使用稳定扩散生成图像(实验) 4.第一次加载后,它会将模型加载到内存中以进行更快的推理 5.不掏空,但使用 C++ 绑定来实现更快的推理和更好的性能。


(资料图片仅供参考)

好了,按照惯例,我们直接上本地安装教程

安装教程

安装前需要在你的电脑中安装docker,不懂安装的话可以看下之前的文章

1.下载源码包

## 下载源码https://github.com/go-skynet/LocalAI/archive/refs/heads/master.zip

2.解压后,运行命令提示符界面

进入解压后文件夹,在路径栏中输入cmd,回车运行命令提示符界面

3.docker 构建镜像

构建镜像前,需要打开我们安装后的docker,不然会执行错误。

输入docker build -t localai .命令后,回车运行构建镜像。

4.运行镜像

输入docker run localai命令,运行镜像。

因为兼容了OpenAi API的格式,所有它的返回数据格式和ChatGPT一样。所以,我们可以随意选择它的展示界面(前端),前端界面目前在GitHub上已经太多了,可以选择自己喜欢的,这里就先不展示对接前端页面了,如果有需要,下次我再出一期。

## 数据格式curl http://localhost:8080/v1/completions -H "Content-Type: application/json" -d "{     "model": "your-model.bin",                 "prompt": "A long time ago in a galaxy far, far away",     "temperature": 0.7   }"

最后,从安装过程中就看出该项目的易扩展性,相当于另一个ChatGPT了,按现在的趋势,会越来越多的开源模型会开源出来的,它们功能会更加的全面,文件会更加的小,我们期待一下吧!

感觉您的阅读,如果想了解更多AI信息和好玩的工具,那么就给个关注吧!

标签: