Write By @Neal Wang

背景

DAO需要有个知识库进行知识沉淀,AI知识库可以作为DAO的第二大脑或成员助理,成为特有知识库的chatgpt

作用

  1. 帮助成员记录事件,充当史官 如:成员在telegram上发表的公开讯息、留言,可以记录进知识库,AI知识库可以帮助成员回忆起他曾经在telegram上表述的话
  2. 进行网络相关数据采集 如:投研资料数据的采集后存储进知识库
  3. 针对已有数据进行问答提问 如:成员可以向知识库进行提问,了解知识库已有数据中关于某个领域的知识细节
  4. 针对已有数据进行再次加工,提取更多有用价值 如:可以从知识库中提取更多数据,自动生成研报
  5. 更多应用场景

技术方案

数据源采集

  1. 网站爬虫
  2. notion爬虫
  3. 视频网站爬虫
  4. 播客爬虫
  5. telegram/discord等机器人
  6. txt/pdf/md等文本上传

向量数据库

将采集到的数据通过langchain进行向量化存储进pinecone/weaviate等商用型向量数据库 https://app.pinecone.io/

问答模块