1
2

## 安装anaconda
$  winget install Anaconda.Anaconda3

1
2
3
4
5

## 安装
$ wget 

## 用法
$ hfd.sh jartine/llava-v1.5-7B-GGUF  --include "llava-v1.5-7b-q4.llamafile"

1
2
3
4
5
6
7
8

## 创建模型配置文件
$ cat "FROM d:\code\llm\<LLM_MODEL_GGUF>" > modelfile.txt
## ollama导入模型
$ ollama create <MODLE_NAME> -f modelfile.txt
## 查看ollama导入的模型
$ ollama list
## 运行模型
$ ollama run <MODLE_IMPORT_NAME>

1
2
3
4
5
6
7

## 安装llamafile命令行命令
$ wget -O /c/app/llamafile.exe https://github.com/Mozilla-Ocho/llamafile/releases/download/0.7/llamafile-0.7

## 启动 llama服务
$ llamafile -m qwen1_5-14b-chat-q4_0.gguf

## 启动浏览器: http://127.0.0.1:8080

1
2
3
4
5
6
7
8

$ git clone  git@github.com:ggerganov/whisper.cpp.git
$ cd whisper.cpp
## 编译talk-llama
$ make talk-llama
## 下载ggml语音模型
$ models/download-ggml-model.sh small
## 运行
$ ./talk-llama -mw /mnt/c/code/llm/whisper-models/ggml-whisper-small.bin -ml /mnt/c/code/llm/lmstudio/Qwen/Qwen1.5-0.5B-Chat-GGUF/qwen1_5-7b-chat-q4_0.gguf -p "Jack" -t 8 -l zh

1
2
3
4
5

## download and install
$ wget https://github.com/vosen/ZLUDA/releases/download/v3/zluda-3-windows.zip
## run with zlud
$ <ZLUDA_DIRECTORY>\zluda.exe -- <APPLICATION> <APPLICATION_ARGUMENTS>

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

## 1. 创建虚拟环境
$ conda create --name=llama2_opt python=3.11.5
## 2. 激活虚拟环境
$ conda active llama2_opt
## 下载olive源码
$ git clone https://github.com/microsoft/Olive.git
## 安装依赖包
$ pip install -r ./requirements.txt
## 
$ pip install -e .