仅供参考。完整代码和文件：https://github.com/IsilAlphare/NJUSE_24Fall_LLM4SE

RAG实验(必做)

题目要求

基础要求

• 构建一个针对arXiv的知识问答系统
• 要求如下
  • 给定一个入口，用户可以输入提问
  • 不要求要求构建GUI界面
  • 用户通过对话进行交互
  • 系统寻找与问题相关的论文abstract
  • 使用用户的请求对向量数据库进行请求
  • 寻找与问题最为相关的abstract
  • 系统根据问题和论文abstract回答用户问题，并给出解答问题的信息来源
• 示例

进阶要求

• 提示优化
  • 用户给出的问题或陈述不一定能够匹配向量数据库的查询
  • 使用大模型对用户的输入进行润色，提高找到对应文档的概率
  • 思路提示(解决思路不唯一，提示仅作为可能的思路示例)
    • 观察不同输入后向量数据库找到对应文档的概率
    • 总结适用于查询的语句
    • 构建提示(prompt)实现对用户输入的润色
  • 查询迭代
    • 单次的查询可能无法寻找到用户所期望的答案
    • 需要通过多轮的搜索和尝试才能获得较为准确的答案
    • 思路提示
    • 如何将用户的需求拆解，变成可以拆解的逻辑步骤
    • 如何判断已经获得准确的答案并停止迭代
    • 如何再思路偏移后进行修正

资源简介

向量数据库可按需自行部署，大模型可选择自有api，下列内容为能完成任务的所需资源。

arxiv数据集可以从这里获取 https://www.kaggle.com/datasets/Cornell-University/arxiv

大模型(Qwen2.5-14B)

# Qwen2.5-14B模型已接入LangChain Openai API,调用示例如下
from langchain.llmsimport OpenAI, OpenAIChat
import os
os.environ["OPENAI_API_KEY"] ="None"
os.environ["OPENAI_API_BASE"] ="<http://10.58.0.2:8000/v1>"
llm_completion = OpenAI(model_name="Qwen2.5-14B")
llm_chat = OpenAIChat(model_name="Qwen2.5-14B")

openai包使用特定版本，避免与langchain不兼容 pip install openai==0.28

嵌入模型(sentence-transformers/all-MiniLM-L12-v2)

• 嵌入模型使用huggingface中的all-MiniLM-L12-v2模型

from langchain.embeddingsimport HuggingFaceEmbeddings
embedding = HuggingFaceEmbeddings(model_name="sentence-transformers/all-MiniLM-L12-v2")