[ad_1]
- Giới thiệu
- Độ chính xác@Ok
- Độ chính xác trung bình trung bình (MAP)
- Xếp hạng đối ứng trung bình (MRR)
- Mức tăng tích lũy chiết khấu chuẩn hóa (NDCG)
- Phân tích so sánh
- Bản tóm tắt
- Người giới thiệu
Tuyên bố miễn trừ trách nhiệm: Các quan điểm trình bày ở đây là của riêng tôi và không nhất thiết phản ánh quan điểm của chủ lao động của tôi hoặc bất kỳ tổ chức nào khác. Tất cả các hình ảnh là của tác giả, trừ khi được chỉ định.
Đảm bảo người dùng tìm thấy thông tin họ cần một cách nhanh chóng và hiệu quả là điều tối quan trọng để có trải nghiệm tìm kiếm thành công. Khi người dùng tìm thấy những gì họ đang tìm kiếm một cách nhanh chóng và dễ dàng, điều đó sẽ chuyển thành trải nghiệm tích cực.
Hơn nữa, vị trí xếp hạng của các kết quả có liên quan cũng đóng một vai trò quan trọng – chúng xuất hiện càng cao thì chúng càng có giá trị đối với người dùng. Điều này có nghĩa là tăng mức độ tương tác, chuyển đổi của người dùng và sự hài lòng tổng thể của trang internet.
Bài viết này khám phá các số liệu chính được sử dụng để đánh giá Mức độ liên quan và Xếp hạng của Tìm kiếm, giúp bạn tối ưu hóa Công cụ Tìm kiếm của mình và mang lại trải nghiệm người dùng vượt trội.
Để minh họa khái niệm Mức độ liên quan của Tìm kiếm theo cách thực tế, hãy xem xét trường hợp người dùng đang tìm kiếm “món mì ống” trên công cụ tìm kiếm. Để đơn giản, chúng tôi sẽ phân tích 5 kết quả hàng đầu được công cụ trả về. Các kết quả liên quan sẽ được biểu thị bằng màu xanh lá cây, trong khi những kết quả được cho là không liên quan sẽ được đánh dấu bằng màu đỏ (tham khảo Hình 1). Chúng ta sẽ sử dụng ký hiệu Rn để biểu thị kết quả thứ n.
Precision@Ok đo lường số lượng kết quả trong các vị trí Ok hàng đầu có liên quan. Chúng tôi tính toán Độ chính xác cho các giá trị khác nhau của Ok, như trong Hình 2.
Precision@Ok = Số kết quả có liên quan trong Ok vị trí hàng đầu / Ok
Độ chính xác@1 = 1/1
Độ chính xác@3 = 1/3
Độ chính xác@5 = 2/5
MAP xem xét thứ tự xếp hạng của các kết quả liên quan.
Đầu tiên, Precision@Ok được tính cho từng vị trí kết quả có liên quan này. Sau đó, Precision@Ok trung bình có được bằng cách tính tổng Precision@Ok cho từng vị trí kết quả có liên quan này và chia cho tổng số liên quan các mục trong kết quả Ok hàng đầu. Để ngắn gọn, đôi khi chúng tôi sẽ gọi Độ chính xác Trung bình là AP trong cuộc thảo luận.
Để hiểu sâu hơn về cách MAP đánh giá hiệu quả xếp hạng, hãy khám phá các ví dụ minh họa qua ba truy vấn tìm kiếm riêng biệt. Những ví dụ này sẽ nêu bật thứ tự trình bày kết quả ảnh hưởng như thế nào đến điểm MAP.
AP@5_Query_1 = (Chính xác@1 + Chính xác@3 + Chính xác@5) / 3
AP@5_Query_1 = (1 + 0,67 + 0,6) / 3 = 0,76
AP@5_Query_2 = (Chính xác@1 + Chính xác@2 + Chính xác@5) / 3
AP@5_Query_2 = (1 + 1 + 0,6) / 3 = 0,87
AP@5_Query_3 = (Precision@3 + Precision@4 + Precision@5) / 3
AP@5_Query_3 = (0,33 + 0,5 + 0,6) / 3 = 0,47
Các kết quả cho Truy vấn 2 thể hiện Độ chính xác trung bình@5 cao nhất, cho thấy rằng các mục phù hợp nhất được đặt ở đầu danh sách được xếp hạng.
MAP = Giá trị trung bình của độ chính xác trung bình trên tất cả các truy vấn trong tập dữ liệu.
MAP@5 = (AP@5_Query_1 + AP@5_Query_2 + AP@5_Query_3) / Số lượng truy vấn
MAP@5 của tập dữ liệu = (0,76 + 0,87 + 0,47) / 3 = 0,7
Tính toán này coi tất cả các truy vấn đều quan trọng như nhau. Tuy nhiên, nếu một số truy vấn quan trọng hơn, các phương pháp tính trọng số khác nhau có thể được sử dụng trong quy trình MAP để ưu tiên chúng.
MRR chỉ xem xét cấp bậc của kết quả liên quan đầu tiên được tìm thấy trong danh sách.
Ok = Xếp hạng của kết quả liên quan đầu tiên
Điểm đối ứng = 1/Ok
MRR là điểm tương hỗ trung bình trên nhiều truy vấn. Nếu không có kết quả phù hợp thì thứ hạng của kết quả phù hợp đầu tiên được coi là vô cùng. Do đó, điểm đối ứng trở thành 0.
Điểm tương hỗ của một kết quả phù hợp là hàm nghịch đảo của thứ hạng của nó.
MRR của tập dữ liệu = (0,5 + 1 + 0,33) / 3 = 0,61
NDCG tính đến mức độ phù hợp được phân loại của kết quả. Mức độ liên quan của từng kết quả được thể hiện bằng điểm số (còn được gọi là “điểm”). Giá trị của NDCG được xác định bằng cách so sánh mức độ liên quan của kết quả được công cụ tìm kiếm trả về với mức độ liên quan của kết quả mà một công cụ tìm kiếm trả về. công cụ tìm kiếm “lý tưởng” giả định sẽ quay trở lại.
Giả sử chúng ta có thang điểm mức độ liên quan/chấm điểm là 1–5, trong đó 5 là điểm cao nhất và 1 là điểm thấp nhất. Chúng tôi tìm kiếm “món mì ống” và chấm điểm kết quả tìm kiếm theo cách thủ công bằng cách cung cấp cho chúng điểm phù hợp, như minh họa trong Hình 7. Trong ví dụ của chúng tôi, R3 là kết quả phù hợp nhất, với điểm 5.
Tích lũy Achieve@5 = 4 + 1 + 5 + 1 + 3 = 14
Mức tăng tích lũy không tính đến xếp hạng.
Lãi tích lũy chiết khấu@Ok = A giảm giá logarit được áp dụng để giúp chỉ định mức tăng thấp hơn khi các mục có liên quan xuất hiện sâu hơn trong danh sách xếp hạng, như trong Hình 8.
Trong đó rel(i) là điểm phù hợp của kết quả ở vị trí i.
DCG@Ok = 4/1 + 1/1,585 + 5/2 + 1/2,322+ 3/2,585 = 8,72
Giá trị tuyệt đối của DCG phụ thuộc vào số lượng kết quả trong danh sách và điểm phù hợp được chỉ định. Để giải quyết vấn đề này, DCG có thể được chuẩn hóa. Để có được DCG chuẩn hóa (NDCG), chúng tôi chia DCG cho DCG (IDCG) lý tưởng cho tập kết quả đã cho, như trong Hình 9. IDCG xem xét các điểm liên quan giống nhau, nhưng tính toán DCG giả định thứ tự xếp hạng tuyệt đối tốt nhất cho những kết quả đó. Thứ tự xếp hạng tốt nhất cho ví dụ trên sẽ là: R3 → R1 → R5 → R2 → R4.
IDCG@Ok = 5/1 + 4/1,585 + 3/2 + 1/2,322 + 1/2,585 = 9,83
NDCG@Ok = 8,72/9,83 = 0,88
NDCG tính đến mức độ liên quan được phân loại của kết quả, cung cấp hiểu biết sâu sắc hơn về Chất lượng xếp hạng tìm kiếm.
Ngoài các chỉ số trên, Hệ số tương quan Spearman Và Khoảng cách Kendall Tau có thể được sử dụng để đánh giá sự giống nhau của danh sách được xếp hạng. Để đo lường mức độ tương tác của người dùng, Tỷ lệ nhấp qua (TLB) là số liệu chính phản ánh tỷ lệ phần trăm người dùng đã nhấp vào kết quả sau khi kết quả được hiển thị. Để biết thêm thông tin về các số liệu này, vui lòng tham khảo các tài nguyên Wikipedia được liệt kê trong phần Tài liệu tham khảo.
Sau khi khám phá bốn số liệu riêng biệt để đánh giá chất lượng tìm kiếm, chúng tôi đã tiến hành phân tích so sánh để hiểu điểm mạnh và điểm yếu của từng phương pháp. Điều này đương nhiên dẫn chúng ta đến câu hỏi quan trọng: Số liệu nào phù hợp nhất để đánh giá Mức độ liên quan và Thứ hạng của Kết quả Công cụ Tìm kiếm của bạn? Việc lựa chọn số liệu tối ưu phụ thuộc vào yêu cầu cụ thể của bạn.
Để hiểu biết toàn diện về chất lượng Công cụ tìm kiếm của bạn, việc xem xét kết hợp các số liệu này thường có ích thay vì dựa vào một thước đo duy nhất.
- https://en.wikipedia.org/wiki/Evaluation_measures_(information_retrieval)
- https://en.wikipedia.org/wiki/Mean_reciprocal_rank
- https://en.wikipedia.org/wiki/Kendall_tau_distance
- https://en.wikipedia.org/wiki/Discounted_cumulative_gain
- https://en.wikipedia.org/wiki/Spearman%27s_rank_correlation_cofactor
- https://web.stanford.edu/class/cs276/handouts/EvaluationNew-handout-6-per.pdf
- https://www.coursera.org/lecture/recommender-metrics/rank-aware-top-n-metrics-Wk98r
- https://www.evidentlyai.com/ranking-metrics/ndcg-metric
- https://en.wikipedia.org/wiki/Inter-rater_reliability
- https://en.wikipedia.org/wiki/Click-through_rate
[ad_2]
Source link