Tổng quan luồng truy vấn

flowchart LR
    USER["Câu hỏi"] --> SELECT["Chọn dịch vụ vector<br/>và collection"]
    SELECT --> PROCESS["Tiền xử lý truy vấn"]
    PROCESS --> EMBED["Sinh embedding"]
    EMBED --> SEARCH["Tìm kiếm vector"]
    SEARCH --> IDS["Chunk ID, điểm tương đồng<br/>và payload"]
    IDS --> RETRIEVE["Đọc chunk và metadata<br/>từ cơ sở dữ liệu"]
    RETRIEVE --> BUILD["Chuyển thành<br/>dữ liệu tri thức"]
    BUILD --> AI["EzyAI hoặc<br/>ứng dụng AI"]

Chọn collection

• Dịch vụ vector database.
• Collection chứa các vector cần tìm kiếm.

1. Dịch vụ vector database mặc định.
2. Collection mặc định của dịch vụ vector đó.

Tiền xử lý câu hỏi

• Xóa khoảng trắng ở đầu và cuối câu hỏi.
• Gom nhiều ký tự khoảng trắng liên tiếp thành một khoảng trắng.

"  chính sách   đổi trảncủa cửa hàng  "

"chính sách đổi trả của cửa hàng"

Sinh embedding cho truy vấn

• Nội dung truy vấn đã xử lý.
• Kiểu dữ liệu là văn bản.
• Kích thước vector lấy từ collection.

Tìm kiếm trong vector database

• Tên collection.
• Số lượng kết quả tối đa.
• Vector truy vấn.

{
  "chunkId": 456,
  "score": 0.87,
  "payload": {
    "sourceType": "post",
    "sourceId": 123,
    "chunkIndex": 2
  }
}

• chunkId là ID dùng để đọc lại chunk trong cơ sở dữ liệu ứng dụng.
• score là điểm tương đồng do vector database trả về.
• payload chứa thông tin tối thiểu về nguồn và vị trí của chunk.

• Ngưỡng điểm tối thiểu.
• Bộ lọc metadata.
• Hybrid search giữa vector và từ khóa.
• Reranking.
• Loại bỏ các chunk trùng nguồn.
• Điều chỉnh limit theo kích thước context của mô hình ngôn ngữ.

Đọc lại nội dung chunk

1. Trích danh sách chunkId từ kết quả tìm kiếm vector.
2. Đọc các chunk tương ứng từ cơ sở dữ liệu ứng dụng.
3. Đọc metadata theo cùng danh sách ID.
4. Ghép nội dung chunk với metadata.
5. Chuyển từng chunk thành một tài liệu RAG trung gian.

flowchart TB
    VECTOR["Kết quả vector"] --> CHUNK_IDS["Danh sách chunk ID"]
    CHUNK_IDS --> CONTENT["Đọc nội dung chunk"]
    CHUNK_IDS --> META["Đọc metadata"]
    CONTENT --> DOCUMENT["Tài liệu RAG"]
    META --> DOCUMENT

Xây dựng dữ liệu tri thức

• ID của nguồn gốc.
• Loại nguồn.
• Tiêu đề.
• Slug.
• Nội dung chunk.
• Tóm tắt.
• URL dữ liệu.
• Thông tin sản phẩm như mã, giá và đơn vị tiền tệ nếu có.

Tích hợp với EzyAI

sequenceDiagram
    participant U as Người dùng
    participant AI as EzyAI
    participant R as EzyRAG
    participant E as Embedding service
    participant V as Vector database
    participant D as Cơ sở dữ liệu ứng dụng

    U->>AI: Gửi câu hỏi
    AI->>R: Tìm dữ liệu tri thức
    R->>R: Chọn collection và chuẩn hóa truy vấn
    R->>E: Sinh embedding
    E-->>R: Vector truy vấn
    R->>V: Tìm kiếm vector với limit
    V-->>R: Chunk ID, score và payload
    R->>D: Đọc chunk và metadata
    D-->>R: Nội dung đầy đủ
    R-->>AI: Danh sách dữ liệu tri thức
    AI-->>U: Sinh câu trả lời dựa trên ngữ cảnh

Truy vấn trực tiếp theo nguồn

• Loại nguồn và danh sách ID.
• Loại nguồn cùng một ID.
• Loại nguồn cùng slug hoặc mã sản phẩm.

Loại nguồn + ID hoặc mã
→ tìm chunk trong cơ sở dữ liệu
→ đọc metadata
→ sắp xếp và ghép các chunk của cùng nguồn
→ tạo dữ liệu tri thức

Cấu hình và tính mở rộng

• Query processor.
• Embedding service.
• Vector database adapter.
• Data retriever.
• Knowledge data builder.

Bảo mật và ranh giới trách nhiệm

Các điểm cần lưu ý

• Vector database service dùng để thực thi tìm kiếm được lấy từ cấu hình runtime chung. Collection được chọn cần thuộc đúng backend này; pipeline chưa tự chuyển service theo thông tin collection.
• Không có kiểm tra trạng thái hoạt động của collection trước khi tìm kiếm.
• Không có kiểm tra truy vấn rỗng hoặc giới hạn kết quả không hợp lệ.
• Không có score threshold, metadata filter hoặc reranking.
• Điểm tương đồng bị loại khỏi kết quả tri thức cuối cùng.
• Thứ tự sau khi đọc chunk từ cơ sở dữ liệu có thể không giữ nguyên xếp hạng vector nếu repository không cam kết thứ tự.
• Các chunk từ cùng một nguồn không được hợp nhất hoặc loại trùng trong semantic search.
• Lỗi ở lớp tích hợp EzyAI được chuyển thành danh sách rỗng, nên bên gọi không phân biệt được “không có kết quả” với “truy vấn thất bại” chỉ từ giá trị trả về.
• Model embedding dùng khi truy vấn phải tương thích với model đã dùng để lập chỉ mục.
• Pipeline không thực hiện authorization ở cấp tài liệu hoặc chunk.

Tóm tắt

Nhận câu hỏi
→ chọn dịch vụ vector và collection
→ chuẩn hóa câu hỏi
→ tạo embedding theo kích thước collection
→ tìm các vector gần nhất
→ lấy danh sách chunk ID
→ đọc nội dung và metadata từ cơ sở dữ liệu
→ xây dựng dữ liệu tri thức
→ chuyển cho EzyAI