#

扫描 Kubernetes 集群、诊断和分类问题的工具,通过 AI 进行的问题诊断。

local ai部署

如果openai可以用的话，可以不安装

官方 run-localai-in-kubernetes

添加helm repo

helm repo add go-skynet https://go-skynet.github.io/helm-charts/

安装local ai

• 方法1:

helm repo update
helm install local-ai go-skynet/local-ai -f values.yaml

模型下载

这个下载过程比较慢，建议使用离线的方式

local-ai启动

• 方法2:

由于网络问题，服务器下载模型，非常慢。所以我将模型和charts都离线了，如果镜像也慢的

下载charts

helm pull go-skynet/local-ai

修改value

更换模型下载地址

安装服务

helm upgrade --install local-ai . -f values.yaml -n ai --create-namespace

问题处理

https://github.com/go-skynet/LocalAI/issues/181

curl http://localhost:8080/models/apply -H "Content-Type: application/json" -d '{ "url": "github:go-skynet/model-gallery/gpt4all-j.yaml", "name": "gpt4all-j" }'


curl http://localhost:8080/v1/chat/completions -H "Content-Type: application/json" -d '{
     "model": "gpt4all-j",
     "messages": [{"role": "user", "content": "who you are"}],
     "temperature": 0.1
   }'

local ai 接口正常返回信息

安装k8sGPT

官方 in-cluster-operator

helm repo add k8sgpt https://charts.k8sgpt.ai/
helm repo update
helm install release k8sgpt/k8sgpt-operator -n k8sgpt-operator-system --create-namespace

集群多了两个CRD服务

crds

部署k8sGPT resource

apiVersion: core.k8sgpt.ai/v1alpha1
kind: K8sGPT
metadata:
  name: k8sgpt-local-ai
  namespace: ai
spec:
  ai:
    enabled: true
    model: ggml-gpt4all-j
    backend: localai
    baseUrl: http://local-ai.ai/v1  # local ai 服务地址 这个就是之前安装的服务了
  noCache: false
  version: v0.3.8

kubectl apply -f k8sGPT.yaml

安装完后的服务POD

所有的POD

查看results

没做故障模拟，所以这里就是空了

kubectl get results -o json -n ai

{
    "apiVersion": "v1",
    "items": [],
    "kind": "List",
    "metadata": {
        "resourceVersion": ""
    }
}