AI搜索领域,最近比较火的一个github开源项目:FreeAskInternet,该项目是2024年4月5日开源,短短一周,已经涨到了6.8k star。

这里说下怎么在github上查看某个项目的开源时间:
https://api.github.com/repos/{:owner}/{:repository},替换{:owner}和{:repository}为对应的用户名和仓库名即可。如:https://api.github.com/repos/nashsu/FreeAskInternet
什么是FreeAskInternet?
FreeAskInternet 是一个完全免费、私有且本地运行的搜索聚合器,并使用 MULTI LLM 生成答案,无需GPU。用户可以提出问题,系统将进行多引擎搜索,并将搜索结果合并到LLM中,并根据搜索结果生成答案,全部免费使用。

FreeAskInternet有哪些特征?
- ️完全免费(不需要任何API密钥)
- 完全本地化(无需GPU,任何计算机都可以运行)
- 完全私有(所有东西都在本地运行,使用自定义llm)
- 无需 LLM 硬件即可运行(无需 GPU!)
- 使用免费的 ChatGPT3.5 / Qwen / Kimi / ShipuAI(GLM) API(无需 API 密钥!感谢 OpenAI)
- 定制LLM(ollama,llama.cpp)支持,是的,我们喜欢ollama!
- 使用 Docker Compose 快速轻松地部署
- Web 和移动友好界面,专为 Web 搜索增强的 AI 聊天而设计,允许从任何设备轻松访问。
FreeAskInternet的工作原理是怎样的?
- 用户在FreeAskInternet的UI界面(www.perplexity.ai)上输入问题。
- 系统调用本地运行的searxng,在多个搜索引擎上进行搜索。
- 爬取搜索结果链接的内容。
- 将这些搜索结果与ChatGPT3.5 LLM结合,基于搜索结果生成答案
这种多引擎搜索和LLM生成的方式,可以充分利用不同搜索引擎的优势,提高回答的准确性和全面性,与基于单一LLM的系统不同,FreeAskInternet可以更好地覆盖各类问题,提供更加可靠的服务,另外,FreeAskInternet是在本地运行的,不需要联网,可以保护用户的隐私,避免数据被收集和泄露。
FreeAskInternet本地如何运行?
git clone https://github.com/nashsu/FreeAskInternet.git
cd ./FreeAskInternet
docker-compose up -d
您现在应该能够在http://localhost:3000上打开 Web 界面。默认情况下不会公开任何其他内容。(对于旧的 Web 界面,访问 http://localhost:3030)
如何获取和设置Kimi/Qwen/ZhipuAI Token?
如何获得Token?
使用
https://github.com/LLM-Red-Team项目来提供这些服务,您可以参考他们的自述文件。
参考:
https://github.com/LLM-Red-Team/kimi-free-api

如何使用像ollama这样的定制LLM?
开始 ollama 服务
export OLLAMA_HOST=0.0.0.0
ollama serve
在设置中设置ollama url:您必须使用计算机的IP地址,而不是localhost/127.0.0.1,因为在docker中您无法访问该地址。模型名称是您想要 ollama 提供服务的模型。