[ad_1]
Tôi đã nêu vấn đề này trong một số bài đăng trên weblog (Đây, đây Và đây) rằng việc sử dụng phân tích sự sống còn có thể cải thiện khả năng dự đoán tỷ lệ mất khách hàng.
Trong bài đăng trên weblog này, tôi sẽ trình bày một trường hợp sử dụng khác mà trong đó phân tích khả năng sống sót có thể cải thiện các thông lệ phổ biến: thử nghiệm A/B!
Thông thường khi chạy thử nghiệm A/B, các nhà phân tích sẽ phân bổ ngẫu nhiên người dùng vào các biến thể theo thời gian và đo tỷ lệ chuyển đổi theo tỷ lệ giữa số lượt chuyển đổi và số người dùng trong mỗi biến thể. Người dùng mới tham gia thử nghiệm và những người tham gia thử nghiệm trong 2 tuần sẽ có cùng trọng số.
Điều này có thể đủ cho những trường hợp chuyển đổi xảy ra hoặc không xảy ra trong một khoảng thời gian ngắn sau khi gán cho một biến thể (ví dụ: Hoàn tất quy trình hướng dẫn).
Tuy nhiên, có nhiều trường hợp chuyển đổi trải dài trong một khoảng thời gian dài hơn. Một ví dụ là đơn hàng đầu tiên sau khi truy cập trang đích của trang internet. Những chuyển đổi như vậy có thể xảy ra trong vòng vài phút, nhưng một phần lớn vẫn có thể xảy ra trong nhiều ngày sau lần truy cập đầu tiên.
Trong những trường hợp như vậy, các KPI kinh doanh thường bị “giới hạn” trong một khoảng thời gian nhất định — ví dụ “chuyển đổi trong vòng 7 ngày” hoặc “biến mất trong vòng 1 tháng”.
Trong những trường hợp đó, việc đo lường chuyển đổi mà không xem xét thời điểm của chúng có 2 sai sót lớn:
- Điều này khiến số liệu thống kê mà chúng ta đang đo lường trở nên khó hiểu — Tỷ lệ chuyển đổi trung bình tại bất kỳ thời điểm nào không chuyển thành bất kỳ số liệu giới hạn nào. Trên thực tế, khi thử nghiệm tiếp tục chạy — tỷ lệ chuyển đổi sẽ tăng chỉ vì người dùng có nhiều thời gian hơn để chuyển đổi. Do đó, kết quả thử nghiệm sẽ khó liên hệ với các KPI kinh doanh.
- Phương pháp này loại bỏ thông tin về thời gian có thể làm giảm công suất so với các phương pháp có tính đến thời gian chuyển đổi.
Để chứng minh điểm số 2, chúng tôi sẽ chạy một nghiên cứu mô phỏng nhỏ
Chúng tôi sẽ yêu cầu người dùng tham gia thử nghiệm ngẫu nhiên trong khoảng thời gian 30 ngày. Thời gian chuyển đổi của người dùng sẽ được mô phỏng từ phân phối Weibull với thang đo 𝜎=30.000, 𝛼_ctrl=0,18 cho nhóm đối chứng và 𝛼_trt=0,157 cho nhóm điều trị.
Dưới đây là các đường cong sống sót tương ứng:
alpha_ctrl <- 0.18
alpha_trt <- 0.157
sigma <- 30000
conv_7d_ctrl <- format_pct(pweibull(7, alpha_ctrl, sigma))
conv_7d_trt <- format_pct(pweibull(7, alpha_trt, sigma))
t <- seq(0, 7, 0.1)
surv_ctrl <- 1 - pweibull(t, alpha_ctrl, sigma)
surv_trt <- 1 - pweibull(t, alpha_trt, sigma)
plot(t, surv_trt, kind = "line", col = "pink", ylab = "S
[ad_2]
Source link