在手机、电脑上面部署本地AI大模型工具

手机端

手机上部署Ollama，这个大模型算力相当于GPT3.5，可以用家里多余的旧手机

Step 1: Ollama部署请参考GitLab上这篇帖子，不需要部署debian容器，debian容器的效果似乎会大打折扣
https://gitlab.com/-/snippets/3682973
Step 2: Ollama 启动切到ollama文件夹并运行 cd ollama ./ollama serve
Step 3: 使用Ngrok部署到公网我看的ollama mac server的教程用的Ngrok，查了一下有人做了termux的新建一个termux session 命令复制粘贴就行，没有难度
https://github.com/Yisus7u7/termux-ngrok
Step 4: 获取绑定token https://dashboard.ngrok.com ngrok官网注册账号，会获得一个token 然后在termux绑定 ngrok config add-authtoken 你的token。上面一步会报错，不用管，这个时候已经绑上了
Step 5: 部署到公网执行： ngrok http 11434 –host-header=”localhost:11434″ ollama默认是11434端口，如果你不确定就再执行一下./ollama serve ，会告诉你11434 already in use 然后就会得到一个url，termux上因为手机分辨率的问题可能看不清楚