Tôi đã thử xây dựng ứng dụng RAG có độ chính xác tỷ lệ cá cược bóng đá cao bằng Dify

Difyđược tạo dễ dàng mà không cần mãAICó thể tạo ứng dụngOSS, chatbot vàAICác ứng dụng như đại lýGUI

Tôi thuộc nhóm vận hành hệ thống quản lý truy vấn và dữ liệu đã đăng ký trong hệ thống và được tạoAI, được gọi làRAGcơ chế Độ chính xác cao lần nàyRAGỨng dụngDify

1 Thử thách RAG

1 1 RAGlà gì

Dễ dàng trước tiênRAG

Hình1RAGTóm tắt

Cơ bản nhấtRAGsẽ trông giống như hình ảnh trênRAGGiới thiệu về thắc mắc của người dùngLLMtạo ra câu trả lời bằng cách thêm thông tin liên quan đến câu hỏiLLMBằng cách này,LLMcũng sẽ có thể trả lời những câu hỏi mà anh ta không biết

Trong tỷ lệ cá cược bóng đá, yêu cầu của người dùng được sử dụng làm truy vấn (chính xác hơn là nội dung yêu cầu được vectơ hóa bằng mô hình nhúng) và thông tin được lưu trữ trong kho vectơ sẽ được tỷ lệ cá cược bóng đá Tại thời điểm này, chúng tôi tỷ lệ cá cược bóng đá thông tin “tương tự” với nội dung yêu cầu của người dùng

Khi đăng ký (nhúng) dữ liệu, trước tiên hãy chia dữ liệu cần đăng ký thành các đơn vị nhỏ gọi là chunk Bằng cách làm cho nó chi tiết hơn, bạn có thể cải thiện độ chính xác và hiệu quả tỷ lệ cá cược bóng đá của mình Ngoài ra, nếu kích thước dữ liệu lớn, có khả năng sẽ đạt đến giới hạn đầu vào của mô hình nhúngLLMSau đó, thay vì đăng ký dữ liệu phân khối như hiện tại, nó sẽ vector hóa dữ liệu đó bằng cách sử dụng một mô hình nhúng và đăng ký phân đoạn cũng như dữ liệu vectơ tương ứng của nó Bằng cách vector hóa, có2Cho hai câu,2Bằng cách tính toán độ tương tự giữa các vectơ của hai câu, có thể tỷ lệ cá cược bóng đá thông tin có liên quan cao

1. 2Sự cố

　Cơ bảnRAGcông việc1.1, bây giờ tôi sẽ liệt kê các vấn đề Xin lưu ý rằng có nhiều vấn đề khác có thể được xem xét ngoài những vấn đề được liệt kê ở đây

tỷ lệ cá cược bóng đá

tỷ lệ cá cược bóng đá truy vấn có nhiều phần tử

Các câu hỏi của người dùng rất phức tạp và các câu hỏi cũng như thông tin có thể không tương ứng với nhau Nếu một cuộc điều tra bao gồm nhiều yếu tố thì sẽ rất tốt nếu có thông tin bao gồm tất cả các yếu tố đó, nhưng tôi nghĩ hầu hết thời gian bạn sẽ tham khảo nhiều thông tin Trong những trường hợp như vậy, có khả năng chỉ có thể chọn thông tin về một phần tử nhất định hoặc một phần tử trở nên nhiễu khi tỷ lệ cá cược bóng đá phần tử khác, điều này có thể làm giảm độ chính xác của tỷ lệ cá cược bóng đá

Cấu trúc không khớp khi tỷ lệ cá cược bóng đá thông tin “tương tự”

1.
Người dùng hỏi thông tin mà họ không biết nên có thể họ không biết các thuật ngữ kỹ thuật hoặc tên chính thức Ngoài ra, từ vựng và cách diễn đạt có thể khác nhau (Ví dụ: "Máy tính của tôi chậm", "Hiệu suất", "Trao đổi bộ nhớ", vv)

2.
Cấu trúc câu thiết yếu giữa câu hỏi và thông tin đã đăng ký là khác nhau Các câu hỏi hầu như luôn ở dạng nghi vấn hoặc mệnh lệnh, trong khi thông tin được ghi lại chủ yếu ở dạng câu trần thuật (Ví dụ:"Hãy cho tôi biết về ○○" và "○○ là XX")

3.
Khi người dùng mơ hồ về những gì họ muốn biết, họ có thể hỏi một câu hỏi rất trừu tượng, nhưng thông tin đăng ký thường rất cụ thể (Ví dụ: “Hãy cho tôi biết về các xu hướng AI gần đây” và “Giới thiệu về ___ được công bố vào năm 2024”)

tỷ lệ cá cược bóng đá khi có từ khóa bạn thực sự muốn đưa vào

Với tỷ lệ cá cược bóng đá vectơ, có thể tỷ lệ cá cược bóng đá ngay cả khi từ khóa không nhất thiết phải khớp Đây là một lợi thế của tỷ lệ cá cược bóng đá vectơ, nhưng bạn cũng có thể xem xét các tỷ lệ cá cược bóng đá trong đó từ khóa quan trọng, chẳng hạn như ``Tôi muốn tỷ lệ cá cược bóng đá thông tin bao gồm một từ khóa nhất định''

tỷ lệ cá cược bóng đá liên quan đến chuyển đổi trạng thái và mối quan hệ nhân quả

tỷ lệ cá cược bóng đá vectơ không thể tính đến sự chuyển đổi trạng thái và mối quan hệ nhân quả có trong truy vấn Ví dụ: nếu chúng tôi nhận được câu hỏi như ``Nếu tôi hủy gói cao cấp cho dịch vụ truyền phát video và sau đó đăng ký lại bằng cùng một tài khoản trong thời gian chiến dịch, liệu thời gian dùng thử miễn phí 30 ngày đầu tiên có còn được áp dụng không?'', thì cần phải suy ra từ lịch sử của người dùng rằng người dùng là ''người đăng ký gia hạn'' chứ không phải là ''người đăng ký mới'' và tỷ lệ cá cược bóng đá các điều khoản và điều kiện, vv, nhưng việc tỷ lệ cá cược bóng đá như vậy là không thể

Tổng hợp và phân tích toàn bộ dữ liệu

tỷ lệ cá cược bóng đá vectơ hoạt động bằng cách ``tìm dữ liệu có vẻ liên quan'' và giống như một thủ thư tìm thấy một số cuốn sách phù hợp với bạn Không thể tổng hợp hoặc phân tích toàn bộ dữ liệu, chẳng hạn như tỷ lệ cá cược bóng đá ``Xin vui lòng cho tôi biết kết quả XX hàng đầu về'' Vì toàn bộ dữ liệu không thể được xử lý nên điều này phải được ghi nhớ nếu tính toàn diện của dữ liệu là quan trọng

tỷ lệ cá cược bóng đá dựa trên kích thước hoặc phạm vi giá trị số

tỷ lệ cá cược bóng đá vectơ không hiệu quả khi tỷ lệ cá cược bóng đá dựa trên các điều kiện như giá trị số hoặc phạm vi Kích thước của các con số không liên quan đến việc hiểu ý nghĩa của một câu Điều này có thể dễ hiểu hơn nếu chúng ta xem xét một ví dụ cụ thể Ví dụ: trong mô tả về một sản phẩm nhất định, ngữ cảnh dường như không thay đổi đáng kể tùy thuộc vào giá của sản phẩm là ``9000 yên'' hay ``10000 yên''

Nhúng

Kích thước phân chia khối thích hợp

Nếu một đoạn quá nhỏ thì ngữ cảnh cần thiết có thể bị mất và bản thân đoạn đó có thể không còn ý nghĩa nữa Ví dụ: nếu câu `` Nguyên nhân của A là B Bởi vì C '' được chia thành hai phần: `` Nguyên nhân của A là B '' và `` Bởi vì C '' thì không thể hiểu được phần sau đang đề cập đến điều gì Ngoài ra, nếu thông tin được yêu cầu trải rộng trên nhiều khối thì sẽ khó truy xuất được tất cả các khối trong quá trình tỷ lệ cá cược bóng đá

Nếu các khối quá lớn, chúng có thể chứa nhiều thông tin không liên quan đến câu hỏi của bạn Khi chuyển kết quả tỷ lệ cá cược bóng đá sang LLM để tạo câu trả lời, nếu có nhiều thông tin nhiễu thì độ chính xác của câu trả lời có thể giảm Trong quá trình xử lý văn bản dài của LLM, hiện tượng thiếu thông tin quan trọng ở giữa câu được gọi là “Lạc ở giữa”

Nếu số lượng văn bản (số lượng mã thông báo) được chuyển tới LLM tăng lên thì phí sử dụng API sẽ tăng lên và thời gian tạo câu trả lời cũng sẽ tăng lên

Mối quan hệ giữa các chunk

Khối là các tài liệu được phân chia một cách máy móc theo các quy tắc cụ thể (độ dài cố định, dấu phân cách, vv) và mỗi đoạn là độc lập Việc tỷ lệ cá cược bóng đá các đoạn đơn giản giống như xé từng trang sách và cố gắng đọc và hiểu chỉ một trang

Tuy nhiên, trên thực tế, việc bạn phải tham khảo nhiều chuyên mục để tìm hiểu nội dung mình đang tỷ lệ cá cược bóng đá không phải là hiếm Ví dụ: giả sử xảy ra lỗi có mã lỗi "E-XXXX" trong một số phần mềm Nếu kiểm tra mã lỗi “E-XXXX” thì có vẻ như đã xảy ra lỗi trong kết nối cơ sở dữ liệu nên tiếp theo bạn cần kiểm tra phần liên quan đến cấu hình của file cấu hình để kết nối với cơ sở dữ liệu

Dữ liệu phi văn bản như bảng và hình ảnh

Tài liệu thường chứa dữ liệu phi văn bản như bảng, hình ảnh và bố cục nhưng thông tin này sẽ bị mất trong quá trình phân nhóm

2. Đề xuất sáng tác

　1Cơ bảnRAGGần đây, chúng tôi đã giải quyết được những vấn đề này và cải thiện độ chính xácRAG nâng caocũng đang nổi lên

　Lần nàyDifyĐa truy vấnĐể giải thích đơn giản phương pháp này, thay vì sử dụng truy vấn của người dùng như khi tỷ lệ cá cược bóng đá,LLM, nhiều câu hỏi khác nhau được tạo ra từ câu hỏi của người dùng và chúng được sử dụng để tỷ lệ cá cược bóng đá thông tin

Hình2Đa truy vấnTóm tắt

Trích dẫn;

3 làm mờ

3.1 Tổng quan về cấu hình

　Phần giới thiệu dài hơn tôi mong đợi, nhưngDifyLuồng trò chuyện cuối cùng sẽ như thế này:

Hình3 Hình ảnh luồng trò chuyện đã hoàn tất

3.2 Tạo truy vấn con

Đầu tiên, hãy tạo nhiều truy vấn dựa trên yêu cầu của người dùng Các lời nhắc được sử dụng như sau Tôi sẽ bỏ qua chi tiết, nhưngHyDE, vì vậy lời nhắc làHyDEcũng được trộn vàoHyDE, nói một cách đơn giản, là một phương pháp trong đó truy vấn không phải là câu hỏi của người dùng mà là câu trả lời dự kiến cho câu hỏi Nếu bạn viết kết quả trước thì nó sẽ trông như thế nàyHyDE, vì vậy hãy ghi nhớ điều đó khi sử dụng nó làm tài liệu tham khảo Nhân tiện, tôi đã không nghĩ ra lời nhắc ngay từ đầuLLM

Hình4 Lời nhắc tạo truy vấn con

Hình5 Chỉ định định dạng đầu ra

LLMđược sử dụng trong quá trình xử lý tiếp theo nên rất dễ sử dụngJSONđịnh dạng Đối với đầu ra có cấu trúc,JSONDường như có một mô hình được đề xuất về khả năng phân tích lược đồ Lần nàyAzure OpenAIcủaGPT-4oLược đồ được thiết lập như saucâu trả lờilàHyDE

Hình6JSONLược đồ dữ liệu

3.3 Trích xuất thông tin

　3.2củaLLMĐiều này bao gồmPythonlà bắt buộc, nó được thực hiện trong khối thực thi mã

Hình7JSONNút trích xuất

Biến đầu vào có thể là đầu ra của tập hợp nút trước đó, nhưngJSONTôi muốn trích xuất dữ liệu nêncó cấu trúc_output

PythonĐối với mãDifytrang, vì vậy tôi nghĩ nó có thể được sử dụng làm tài liệu tham khảo

Tham khảo:

Biến đầu ra là lần nàyĐối tượngMảng[Đối tượng]Bây giờ,có cấu trúc_outputPhần tửtruy vấn phụcó thể được trích xuất

Vậy,truy vấn phụtừcâu trả lời

Hình8câu trả lờiNút trích xuất

Trở lêncâu trả lờiMảng đã được tạo theo sau là mỗicâu trả lờichoRAG

3.4 Lặp lại

Việc xử lý nội bộ của phép lặp là bình thườngRAG

Hình9 Khối lặp

Đầu vào của khối lặp đã được trích xuất trước đócâu trả lờiMảng, xuất từng mảngcâu trả lờichoRAG

Hình10 Nút tỷ lệ cá cược bóng đá dữ liệu (truy vấn con)

Chỉ cần biến tỷ lệ cá cược bóng đá là biến của mảng lặp là bình thườngRAGĐối với cơ sở kiến ​​thức, chúng tôi đã thiết lập một tỷ lệ cá cược bóng đá kết hợp kết hợp tỷ lệ cá cược bóng đá vectơ và tỷ lệ cá cược bóng đá từ khóa

Hình11 Nút tạo câu trả lời (truy vấn con)

Tạo phản hồi bình thường cho truy vấn phụRAG

3.5 Tạo câu trả lời

Tạo câu trả lời cho truy vấn của người dùng ban đầu dựa trên mỗi câu trả lời được tạo ở lần lặp trước

Hình12 Nút tạo câu trả lời

Luồng trò chuyện hiện đã hoàn tất

4. Kết luận

Lần này thế là xongRAG,Dify

Việc xác minh này sử dụng dữ liệu doanh nghiệp nên thực tế là như vậyLLMtạo ra, nhưng khi thử chatflow tôi tạo thì ảo giác thật khủng khiếp và tiếc là kết quả không như tôi mong đợi Nguyên nhân làHyDEkhiến các câu trả lời chứa quá nhiều thông tin chung chung

Đa truy vấn, nhưng quy trình càng dài và phức tạp thì càng mất nhiều thời gian để nhận được câu trả lờiLLM(≒APITôi cảm thấy cần phải tính đến việc phí sử dụng) cũng sẽ tăng lên Nhân tiện, trong luồng trò chuyện này, trước khi trả lời15～20Mất khoảng vài giây

Tạm thời chỉ có vậy thôi

DifyNhiều thứ khácAIChúng tôi đang có kế hoạch giới thiệu và thử nghiệm sản phẩm của mình, vì vậy hãy đón chờ những blog trong tương lai của chúng tôi

Cảm ơn bạn đã đọc đến cuối