Nghịch lý Simpson là hiện tượng một xu hướng xuất hiện trong từng nhóm dữ liệu nhưng biến mất hoặc đảo chiều khi các nhóm được gộp lại. Phương pháp điều trị A có thể cho tỷ lệ thành công cao hơn B ở cả bệnh nhân nhẹ lẫn bệnh nhân nặng, nhưng khi gộp chung tất cả bệnh nhân, B lại có tỷ lệ cao hơn. Không có phép tính nào sai; nghịch lý sinh ra vì các nhóm có cỡ khác nhau và một yếu tố thứ ba vừa ảnh hưởng tới việc chọn phương pháp, vừa ảnh hưởng tới kết quả.
Câu trả lời ngắn cho câu hỏi "nên tin số tổng hay số từng nhóm" là: không có quy tắc thống kê thuần tuý nào quyết định được; câu trả lời phụ thuộc vào cấu trúc nhân quả của vấn đề. Nếu yếu tố phân nhóm là nguyên nhân chung của cả lựa chọn và kết quả, như mức độ nặng của bệnh, thì số từng nhóm đúng. Nếu yếu tố phân nhóm là hệ quả của lựa chọn, thì số tổng có thể mới đúng.
Nghịch lý này không chỉ là câu đố cho lớp thống kê. Nó xuất hiện trong báo cáo kinh doanh theo chi nhánh, so sánh trường học, đánh giá hiệu quả nhân viên và tin tức y tế. Bài viết đi qua các ví dụ kinh điển có thật, cơ chế toán học, cách phát hiện trong dữ liệu của bạn và khung quyết định dựa trên suy luận nhân quả.
Ví dụ kinh điển: hai phương pháp điều trị sỏi thận
Năm 1986, Charig và các cộng sự công bố trên BMJ một so sánh hồi cứu các phương pháp điều trị sỏi thận. Số liệu so sánh mổ mở (A) và tán sỏi qua da (B) sau đó trở thành ví dụ được trích dẫn nhiều nhất về nghịch lý Simpson.
| Nhóm bệnh nhân | Phương pháp A: thành công / tổng | Tỷ lệ A | Phương pháp B: thành công / tổng | Tỷ lệ B |
|---|---|---|---|---|
| Sỏi nhỏ | 81 / 87 | 93% | 234 / 270 | 87% |
| Sỏi lớn | 192 / 263 | 73% | 55 / 80 | 69% |
| Gộp chung | 273 / 350 | 78% | 289 / 350 | 83% |
A tốt hơn B ở cả sỏi nhỏ lẫn sỏi lớn, nhưng khi gộp lại, B có vẻ tốt hơn. Bí mật nằm ở cột tổng số: bác sĩ dùng A chủ yếu cho ca sỏi lớn (263 trên 350 ca), vốn khó hơn, và dùng B chủ yếu cho ca sỏi nhỏ (270 trên 350 ca), vốn dễ hơn. Kích thước sỏi vừa quyết định phương pháp được chọn, vừa quyết định khả năng thành công.
Trong trường hợp này, số liệu từng nhóm cho câu trả lời đúng hơn về hiệu quả của phương pháp, vì kích thước sỏi có trước quyết định điều trị và là yếu tố gây nhiễu. So sánh gộp đang so một nhóm toàn ca khó với một nhóm toàn ca dễ. Đây là bài học về số liệu, không phải khuyến nghị lâm sàng: phương pháp điều trị sỏi thận đã thay đổi nhiều kể từ năm 1986.
Cơ chế toán học: vì sao trung bình có trọng số có thể đảo chiều
Tỷ lệ chung của mỗi phương pháp là trung bình có trọng số của tỷ lệ trong từng nhóm, với trọng số là tỷ trọng số ca thuộc mỗi nhóm. Với A: 78% là trung bình của 93% và 73%, nhưng trọng số nghiêng hẳn về 73% vì 75% ca của A là sỏi lớn. Với B: 83% là trung bình của 87% và 69%, trọng số nghiêng về 87% vì 77% ca của B là sỏi nhỏ.
Nói cách khác, so sánh tỷ lệ gộp đang trộn hai câu hỏi: phương pháp nào tốt hơn, và phương pháp nào được dùng cho ca dễ hơn. Khi hai câu hỏi này có câu trả lời ngược nhau và hiệu ứng thứ hai đủ lớn, nó lấn át hiệu ứng thứ nhất. Điều kiện cần để nghịch lý xảy ra là hai thứ cùng lúc: tỷ lệ kết quả khác nhau nhiều giữa các nhóm (sỏi nhỏ dễ hơn sỏi lớn rất nhiều), và cơ cấu nhóm khác nhau nhiều giữa hai đối tượng so sánh. Nếu một trong hai điều kiện không có, nghịch lý không xảy ra.
Hiện tượng này được Karl Pearson và George Udny Yule ghi nhận từ đầu thế kỷ XX. Năm 1951, Edward Simpson công bố một bài trên tạp chí của Hội Thống kê Hoàng gia Anh phân tích vấn đề trong bảng tiếp liên, và tên gọi "nghịch lý Simpson" do Colin Blyth đặt năm 1972. Vì vậy một số tài liệu gọi đây là hiệu ứng Yule–Simpson.
Tuyển sinh sau đại học ở Berkeley năm 1973
Ví dụ thứ hai thường được dẫn là số liệu tuyển sinh sau đại học của Đại học California tại Berkeley năm 1973, được Peter Bickel, Eugene Hammel và J. William O'Connell phân tích trên tạp chí Science năm 1975. Tính gộp toàn trường, tỷ lệ trúng tuyển của nam cao hơn rõ rệt so với nữ, và con số này làm dấy lên lo ngại về phân biệt giới tính.
Khi phân tích theo từng khoa, nơi quyết định tuyển sinh thật sự được đưa ra, các tác giả thấy phần lớn các khoa không có chênh lệch đáng kể bất lợi cho nữ, và một số khoa còn có tỷ lệ nhận nữ cao hơn. Lời giải thích nằm ở chỗ ứng viên nữ nộp hồ sơ nhiều hơn vào các khoa có tỷ lệ cạnh tranh rất cao, nơi mọi ứng viên đều có tỷ lệ trúng tuyển thấp, còn ứng viên nam nộp nhiều hơn vào các khoa dễ vào hơn.
Ví dụ này cũng cho thấy giới hạn của việc chỉ phân tích theo nhóm. Câu hỏi "vì sao ứng viên nữ tập trung vào các khoa cạnh tranh cao, và vì sao những khoa đó có ít chỉ tiêu" vẫn có thể là một câu hỏi về bất bình đẳng ở tầng sâu hơn, như cách phân bổ ngân sách giữa các ngành. Bickel và cộng sự đã lưu ý điều này. Phân tầng dữ liệu giải quyết được câu hỏi về quyết định tuyển sinh ở cấp khoa, nhưng không trả lời mọi câu hỏi về công bằng. Đây là lý do tranh luận về cách diễn giải ví dụ này vẫn tiếp tục trong giới thống kê và khoa học xã hội.
Nên tin số tổng hay số từng nhóm: khung quyết định nhân quả
Thống kê thuần tuý không trả lời được. Cùng một bảng số có thể cần đọc theo nhóm trong bối cảnh này và đọc theo tổng trong bối cảnh khác. Judea Pearl, trong các công trình về suy luận nhân quả và cuốn The Book of Why (2018, viết cùng Dana Mackenzie), lập luận rằng nghịch lý chỉ được giải khi ta đưa vào giả định về cấu trúc nhân quả, thường biểu diễn bằng sơ đồ mũi tên giữa các biến.
Biến phân nhóm là nguyên nhân chung: tin số từng nhóm. Kích thước sỏi có trước và ảnh hưởng tới cả lựa chọn phương pháp lẫn kết quả. Đây là yếu tố gây nhiễu, cần được kiểm soát, nên so sánh trong từng nhóm là đúng. Tương tự, khi so sánh hai bệnh viện, mức độ nặng của bệnh nhân khi nhập viện là yếu tố cần phân tầng.
Biến phân nhóm là hệ quả của can thiệp: tin số tổng. Ví dụ giả định: một loại thuốc vừa hạ huyết áp vừa cải thiện kết cục. Nếu phân nhóm theo huyết áp đo sau điều trị, ta đang chia theo một biến mà chính thuốc đã thay đổi, và so sánh trong từng nhóm sẽ che mất phần tác dụng đi qua đường hạ huyết áp. Trong trường hợp này, số tổng phản ánh đúng hơn tác động toàn phần của thuốc.
Câu hỏi then chốt cần đặt ra. Trước khi phân tầng, hãy hỏi: biến phân nhóm này xảy ra trước hay sau quyết định đang đánh giá? Nó có thể bị quyết định đó tác động không? Câu trả lời cho hai câu hỏi đơn giản này giải quyết phần lớn các trường hợp gặp trong thực tế, kể cả khi bạn không vẽ sơ đồ nhân quả chính thức.
Nghịch lý Simpson trong dữ liệu kinh doanh: những chỗ hay gặp
Các tình huống dưới đây là mô tả khái quát và ví dụ giả định, nhưng mỗi tình huống đều có thể xuất hiện trong báo cáo thực tế.
- Tỷ lệ chuyển đổi theo kênh: chiến dịch mới có tỷ lệ chuyển đổi cao hơn chiến dịch cũ ở cả khách trên điện thoại lẫn máy tính, nhưng thấp hơn khi gộp, vì chiến dịch mới kéo về nhiều khách điện thoại, nhóm vốn chuyển đổi thấp hơn.
- Năng suất chi nhánh: chi nhánh X có doanh thu trên mỗi nhân viên cao hơn Y ở mọi dòng sản phẩm, nhưng tổng thể thấp hơn vì X bán nhiều dòng sản phẩm có giá trị thấp.
- Tỷ lệ nợ xấu: một ngân hàng có tỷ lệ nợ xấu thấp hơn đối thủ trong từng phân khúc khách hàng, nhưng cao hơn trên toàn danh mục do tỷ trọng cho vay phân khúc rủi ro cao lớn hơn.
- Lương theo giới tính: chênh lệch lương tổng thể có thể khác hẳn chênh lệch trong từng vị trí công việc, vì cơ cấu giới tính khác nhau giữa các vị trí. Cả hai con số đều có ý nghĩa, nhưng trả lời hai câu hỏi khác nhau.
- Kết quả thi giữa các trường: trường A có điểm trung bình cao hơn B ở mọi nhóm học lực đầu vào nhưng thấp hơn khi gộp, vì A nhận nhiều học sinh đầu vào yếu hơn.
- Tăng trưởng tiền lương trung bình: lương trung bình toàn công ty có thể giảm dù lương của mọi vị trí đều tăng, nếu công ty tuyển thêm nhiều nhân viên mới ở vị trí cấp thấp.
Tình huống cuối cùng là một dạng gần với nghịch lý Simpson gọi là hiệu ứng cơ cấu: thay đổi của trung bình gộp phản ánh thay đổi cơ cấu nhiều hơn thay đổi trong từng nhóm. Nó xuất hiện thường xuyên trong số liệu lương bình quân, năng suất lao động bình quân và giá bình quân của các báo cáo.
Quy trình phát hiện và xử lý trong năm bước
Áp dụng trước khi đưa ra kết luận từ bất kỳ so sánh tỷ lệ gộp nào giữa hai nhóm, hai thời kỳ hay hai phương án.
- Liệt kê các biến có thể vừa ảnh hưởng tới việc một đơn vị rơi vào nhóm nào, vừa ảnh hưởng tới kết quả: mức độ khó, phân khúc khách hàng, khu vực, quy mô, kênh.
- Lập bảng so sánh tỷ lệ theo từng biến đó, kèm cột cơ cấu: mỗi nhóm chiếm bao nhiêu phần trăm số đơn vị của mỗi đối tượng so sánh.
- Nếu cơ cấu khác nhau nhiều và tỷ lệ kết quả khác nhau nhiều giữa các nhóm, nghịch lý có thể xảy ra. So sánh xu hướng gộp với xu hướng trong từng nhóm.
- Xác định vị trí nhân quả của biến phân nhóm: có trước quyết định thì phân tầng; là hệ quả của quyết định thì không phân tầng theo nó.
- Khi cần một con số tóm tắt, dùng chuẩn hoá: tính tỷ lệ của mỗi đối tượng như thể chúng có cùng một cơ cấu chuẩn. Báo rõ cơ cấu chuẩn đã chọn.
Bước cuối cùng chính là kỹ thuật chuẩn hoá trực tiếp mà dịch tễ học dùng để so sánh tỷ lệ tử vong giữa các vùng có cơ cấu tuổi khác nhau. Trong kinh doanh, kỹ thuật này đôi khi được gọi là phân tích cơ cấu và hiệu suất (mix and rate analysis), tách thay đổi tổng thành phần do cơ cấu và phần do hiệu suất trong từng nhóm.
Câu hỏi thường gặp
Nghịch lý Simpson có phải là lỗi của dữ liệu không?
Không. Dữ liệu và các phép tính đều đúng. Nghịch lý nằm ở chỗ con người ngầm cho rằng nếu A tốt hơn B trong từng nhóm thì A phải tốt hơn khi gộp. Giả định này sai khi cơ cấu nhóm khác nhau. Nhận ra điều đó là hiểu đúng dữ liệu, không phải sửa dữ liệu.
Có phải cứ phân nhóm càng chi tiết thì càng đúng không?
Không. Phân nhóm theo một biến là hệ quả của can thiệp có thể làm sai lệch kết quả, và phân nhóm quá chi tiết làm mỗi nhóm quá nhỏ, kết quả dao động mạnh do ngẫu nhiên. Ngoài ra, có thể luôn tìm được một cách chia nhóm nào đó làm xu hướng đảo chiều; chia nhóm phải dựa trên lý do nhân quả, không dựa trên kết quả mong muốn.
Thử nghiệm ngẫu nhiên có tránh được nghịch lý Simpson không?
Phần lớn có. Phân nhóm ngẫu nhiên làm cơ cấu các nhóm con giữa hai nhánh xấp xỉ giống nhau khi mẫu đủ lớn, nên điều kiện thứ hai của nghịch lý không còn. Với mẫu nhỏ, mất cân bằng ngẫu nhiên vẫn có thể xảy ra, vì vậy nhiều thử nghiệm dùng phân nhóm ngẫu nhiên theo tầng.
Nghịch lý Simpson có xuất hiện với biến liên tục không?
Có. Với biến liên tục, nó biểu hiện thành việc đường hồi quy trong toàn bộ dữ liệu có độ dốc ngược với đường hồi quy trong từng nhóm. Ví dụ giả định: trong mỗi nhóm tuổi, tập thể dục nhiều đi kèm cholesterol thấp hơn, nhưng gộp tất cả lại, vì người lớn tuổi vừa tập nhiều hơn vừa có cholesterol cao hơn, đường xu hướng có thể dốc lên.
Làm sao trình bày cho lãnh đạo khi số tổng và số nhóm mâu thuẫn?
Đặt hai bảng cạnh nhau: tỷ lệ theo nhóm và cơ cấu theo nhóm. Giải thích bằng một câu về yếu tố tạo ra khác biệt cơ cấu, rồi nêu rõ câu hỏi đang trả lời là hiệu suất trong cùng điều kiện hay kết quả tổng thể. Tránh chỉ trình bày con số có lợi cho kết luận bạn muốn.
Nghịch lý Simpson và ngụy biện sinh thái có liên quan không?
Có liên quan. Cả hai đều cảnh báo rằng quan hệ ở cấp tổng hợp có thể khác quan hệ ở cấp nhóm con hoặc cá nhân. Ngụy biện sinh thái tập trung vào việc suy luận từ số liệu nhóm sang cá nhân, còn nghịch lý Simpson nhấn mạnh việc đảo chiều xu hướng khi gộp các nhóm có cơ cấu khác nhau.