Biên sai số cho biết kết quả khảo sát có thể lệch khỏi giá trị thật của tổng thể bao nhiêu chỉ do may rủi khi chọn mẫu. Với mẫu ngẫu nhiên 1.000 người và một tỷ lệ quanh 50%, biên sai số ở mức tin cậy 95% xấp xỉ ±3,1 điểm phần trăm. Nói đơn giản: nếu khảo sát cho kết quả 52%, giá trị thật của tổng thể nhiều khả năng nằm trong khoảng 49% đến 55%.
Điều trái trực giác là biên sai số gần như không phụ thuộc quy mô tổng thể, mà phụ thuộc cỡ mẫu. Một mẫu 1.000 người chọn ngẫu nhiên đúng cách cho độ chính xác tương đương dù tổng thể là một thành phố một triệu dân hay một quốc gia một trăm triệu dân. Nhưng điều kiện "chọn ngẫu nhiên đúng cách" là then chốt: biên sai số chỉ đo sai số do may rủi, không đo được sai số do chọn mẫu lệch, và đó mới là nguồn lỗi lớn nhất của phần lớn khảo sát kém chất lượng.
Bài này giải thích công thức, cách đọc khoảng tin cậy, vì sao chênh lệch giữa hai nhóm cần biên sai số lớn hơn, và các loại sai số mà con số ± trên bản tin không bao giờ cho bạn biết.
Công thức biên sai số và ý nghĩa thật của "95%"
Với một tỷ lệ p ước lượng từ mẫu ngẫu nhiên đơn giản cỡ n, sai số chuẩn là căn bậc hai của p(1 − p) / n. Biên sai số ở mức tin cậy 95% bằng khoảng 1,96 lần sai số chuẩn. Đại lượng p(1 − p) lớn nhất khi p = 0,5, nên các tổ chức khảo sát thường công bố biên sai số "tối đa" tính tại p = 0,5. Với n = 1.000, con số này là 1,96 × căn(0,25 / 1.000) ≈ 0,031, tức ±3,1 điểm phần trăm.
Ý nghĩa chính xác của mức tin cậy 95% hay bị hiểu sai. Nó không có nghĩa "có 95% xác suất giá trị thật nằm trong khoảng này" theo nghĩa chặt của thống kê tần suất. Nó có nghĩa là: nếu lặp lại quy trình chọn mẫu và tính khoảng rất nhiều lần, khoảng 95% các khoảng thu được sẽ chứa giá trị thật. Với người đọc tin, cách hiểu gần đúng "giá trị thật nhiều khả năng nằm trong khoảng" là chấp nhận được, miễn nhớ rằng cứ khoảng 20 khảo sát thì có một khảo sát mà giá trị thật nằm ngoài khoảng chỉ do ngẫu nhiên.
Một điểm kỹ thuật nữa: công thức trên giả định mẫu ngẫu nhiên đơn giản. Khảo sát thực tế thường chọn mẫu theo cụm (chọn xã, rồi chọn hộ trong xã) và có gia trọng để điều chỉnh cơ cấu. Cả hai làm sai số thực tế lớn hơn công thức đơn giản, mức độ đo bằng "hiệu ứng thiết kế" (design effect). Các khảo sát nghiêm túc công bố biên sai số đã tính đến điều này; nhiều khảo sát thương mại thì không.
Cỡ mẫu và biên sai số: bảng tra nhanh
Bảng dưới tính tại p = 0,5, mức tin cậy 95%, mẫu ngẫu nhiên đơn giản. Đây là trường hợp sai số lớn nhất; với tỷ lệ gần 10% hoặc 90%, biên sai số nhỏ hơn khoảng 40%.
| Cỡ mẫu | Biên sai số xấp xỉ | Nhận xét thực tế |
|---|---|---|
| 100 | ±9,8 điểm | Chỉ đủ để thấy chênh lệch rất lớn |
| 400 | ±4,9 điểm | Mức tối thiểu hay gặp cho khảo sát nhóm nhỏ |
| 1.000 | ±3,1 điểm | Chuẩn phổ biến của nhiều cuộc thăm dò quốc gia |
| 2.500 | ±2,0 điểm | Tăng gấp 2,5 lần mẫu chỉ giảm sai số khoảng một phần ba |
| 10.000 | ±1,0 điểm | Chi phí tăng mười lần so với 1.000 người |
Quy luật căn bậc hai là lý do bảng có hình dạng này: muốn giảm biên sai số một nửa, cỡ mẫu phải tăng gấp bốn. Vì vậy phần lớn tổ chức dừng ở vài nghìn người; tiền đầu tư thêm vào cỡ mẫu sẽ hiệu quả hơn nhiều nếu dùng để giảm sai số chọn mẫu lệch và tỷ lệ không trả lời.
Cảnh báo quan trọng: biên sai số áp dụng cho toàn mẫu. Khi bản tin nói "trong nhóm người trẻ 18–24 tuổi, 60% đồng ý", nhóm đó có thể chỉ gồm 120 người, và biên sai số của nó là khoảng ±9 điểm chứ không phải ±3.
Chênh lệch giữa hai con số cần biên sai số lớn hơn
Hai tỷ lệ trong cùng một khảo sát. Khi khảo sát cho phương án A được 48% và phương án B được 44%, nhiều người nghĩ chênh 4 điểm lớn hơn biên sai số 3 điểm nên A dẫn trước rõ. Thực tế, khi hai tỷ lệ lấy từ cùng một mẫu và loại trừ nhau, biên sai số của hiệu số xấp xỉ gần gấp đôi biên sai số của từng tỷ lệ. Với mẫu 1.000 người, chênh 4 điểm nằm trong vùng không chắc chắn.
Hai khảo sát ở hai thời điểm. Khi so tỷ lệ hài lòng năm nay với năm ngoái, mỗi khảo sát có sai số riêng. Biên sai số của hiệu số xấp xỉ căn bậc hai của tổng bình phương hai biên sai số, tức khoảng 1,4 lần biên của một khảo sát nếu hai mẫu cùng cỡ. Thay đổi 2–3 điểm giữa hai đợt khảo sát 1.000 người thường không đủ để kết luận có thay đổi thật.
Ý nghĩa thực hành. Khi đọc các tin như "chỉ số niềm tin tiêu dùng giảm 2 điểm" hay "mức độ hài lòng của nhân viên tăng 3 điểm so với quý trước", hãy hỏi trước tiên biên sai số của chênh lệch là bao nhiêu. Nhiều "xu hướng" trong báo cáo nội bộ thực chất là dao động ngẫu nhiên giữa các đợt đo.
Theo dõi nhiều đợt thay vì một cặp. Một thay đổi nhỏ lặp lại cùng chiều qua bốn, năm đợt khảo sát đáng tin hơn nhiều so với một bước nhảy lớn giữa hai đợt. Cách làm chuẩn của các tổ chức thống kê là xem đường xu hướng trơn qua nhiều kỳ chứ không phản ứng với từng điểm.
Mẫu lớn mà lệch thua mẫu nhỏ mà ngẫu nhiên: bài học năm 1936
Câu chuyện kinh điển trong mọi giáo trình thống kê là cuộc thăm dò của tạp chí Literary Digest trước bầu cử tổng thống Mỹ năm 1936. Tạp chí gửi phiếu cho khoảng mười triệu người lấy từ danh bạ điện thoại, danh sách chủ xe hơi và độc giả của mình, và nhận về khoảng 2,4 triệu phiếu. Dự đoán của họ sai rất xa kết quả thật. Trong khi đó, George Gallup dùng một mẫu nhỏ hơn hàng trăm lần nhưng được chọn có cơ cấu và dự đoán đúng người thắng.
Các phân tích sau này chỉ ra hai lỗi chồng nhau. Thứ nhất, khung chọn mẫu lệch: giữa thời kỳ Đại suy thoái, người có điện thoại và xe hơi giàu hơn trung bình. Thứ hai, thiên lệch không trả lời: những người chịu khó gửi phiếu lại có quan điểm khác với những người không gửi. Một số nghiên cứu sau này cho rằng lỗi thứ hai còn quan trọng hơn lỗi thứ nhất. Dù tỷ trọng thế nào, bài học không đổi: 2,4 triệu phiếu không cứu được một mẫu lệch.
Phiên bản hiện đại của câu chuyện này có ở khắp nơi: bình chọn trực tuyến với hàng chục nghìn lượt, khảo sát qua đường dẫn chia sẻ trên mạng xã hội, đánh giá sao trên sàn thương mại điện tử. Cỡ mẫu lớn nhưng người tham gia tự chọn mình vào, nên họ không đại diện cho ai ngoài chính nhóm có động lực trả lời. Với loại dữ liệu này, khái niệm biên sai số không áp dụng được, và mọi con số ± đi kèm đều sai về mặt phương pháp.
Những sai số mà con số ± không đo được
Sai số khung chọn mẫu. Danh sách dùng để chọn mẫu không bao phủ hết tổng thể. Khảo sát qua điện thoại di động bỏ sót người không có điện thoại hoặc ít khi nghe số lạ; khảo sát trực tuyến bỏ sót người ít dùng mạng, thường là người lớn tuổi và người ở nông thôn.
Sai số không trả lời. Tỷ lệ trả lời của nhiều khảo sát qua điện thoại ở các nước có số liệu công bố đã giảm xuống mức một chữ số phần trăm. Nếu người trả lời khác người từ chối ở chính vấn đề đang hỏi, kết quả lệch dù mẫu được chọn ngẫu nhiên. Gia trọng theo tuổi, giới, vùng giúp giảm nhưng không loại bỏ vấn đề.
Sai số đo lường. Cách đặt câu hỏi, thứ tự câu hỏi, lựa chọn trả lời và người phỏng vấn đều ảnh hưởng kết quả. Câu hỏi về hành vi nhạy cảm như thu nhập, hút thuốc, vi phạm giao thông thường cho kết quả thấp hơn thực tế do thiên lệch mong muốn xã hội.
Sai số xử lý. Lỗi nhập liệu, mã hoá câu trả lời mở, quyết định loại bỏ phiếu không hợp lệ. Những lỗi này hiếm khi được công bố nhưng có thể lớn hơn sai số chọn mẫu.
Tổng sai số khảo sát. Giới nghiên cứu gọi chung tất cả các nguồn trên là tổng sai số khảo sát (total survey error). Một số phân tích so sánh kết quả thăm dò với kết quả thực tế cho thấy sai số thực thường lớn hơn biên sai số công bố, có khi gần gấp đôi. Vì vậy, con số ± nên được xem là giới hạn dưới của độ bất định, không phải toàn bộ.
Đọc một kết quả khảo sát: sáu câu hỏi trước khi tin
Áp dụng cho khảo sát thị trường, thăm dò ý kiến khách hàng, khảo sát nhân sự hay số liệu khảo sát trên báo.
- Ai thực hiện và ai trả tiền? Mục đích là nghiên cứu hay quảng bá?
- Tổng thể mục tiêu là gì, và mẫu được chọn thế nào: ngẫu nhiên từ danh sách, hạn ngạch, hay tự nguyện qua đường dẫn?
- Cỡ mẫu bao nhiêu, và cỡ của từng nhóm con được trích dẫn là bao nhiêu?
- Tỷ lệ trả lời ra sao, và có gia trọng không?
- Câu hỏi được đặt nguyên văn thế nào? Có câu dẫn dắt hay lựa chọn trả lời thiếu cân bằng không?
- Chênh lệch được nhấn mạnh có lớn hơn biên sai số của hiệu số không, và có được lặp lại qua nhiều đợt không?
Một khảo sát nghiêm túc thường công bố đủ thông tin để trả lời cả sáu câu, thường trong phần phương pháp hoặc phụ lục. Khi không tìm được câu trả lời cho câu số 2, hãy coi con số đó là ý kiến của những người đã trả lời chứ không phải của tổng thể.
Câu hỏi thường gặp
Vì sao cỡ mẫu không cần tăng theo dân số?
Vì độ chính xác của ước lượng phụ thuộc chủ yếu vào số quan sát, không phụ thuộc tỷ lệ mẫu trên tổng thể, khi tổng thể lớn hơn mẫu nhiều lần. Giống như nếm một thìa canh đã khuấy đều: một thìa cho biết độ mặn của nồi nhỏ hay nồi lớn như nhau. Điều kiện là phải khuấy đều, tức chọn ngẫu nhiên.
Khi tổng thể nhỏ, ví dụ 300 nhân viên, có cần điều chỉnh không?
Có. Khi mẫu chiếm phần đáng kể của tổng thể, khoảng trên 5%, có thể nhân sai số chuẩn với hệ số hiệu chỉnh tổng thể hữu hạn, bằng căn của (N − n) / (N − 1). Hiệu chỉnh này làm biên sai số nhỏ đi. Nếu khảo sát toàn bộ 300 người thì không còn sai số chọn mẫu, chỉ còn sai số không trả lời và đo lường.
Khảo sát hạn ngạch có tính được biên sai số không?
Về lý thuyết thì không, vì mẫu hạn ngạch không phải mẫu xác suất. Trong thực tế, nhiều công ty nghiên cứu thị trường vẫn công bố một con số tham khảo theo công thức ngẫu nhiên. Nên đọc con số đó như một mức tối thiểu, và hỏi thêm cách tuyển người tham gia.
Mức tin cậy 90% và 99% khác 95% thế nào?
Với cùng cỡ mẫu, mức tin cậy cao hơn đòi khoảng rộng hơn. Hệ số nhân xấp xỉ 1,645 cho 90%, 1,96 cho 95% và 2,576 cho 99%. Khảo sát 1.000 người tại p bằng 0,5 có biên khoảng ±2,6 điểm ở 90% và ±4,1 điểm ở 99%. Luôn kiểm mức tin cậy trước khi so biên sai số giữa các khảo sát.
Luật số nhỏ là gì?
Kahneman và Tversky dùng cụm "niềm tin vào luật số nhỏ" trong bài báo năm 1971 để chỉ xu hướng tin rằng mẫu nhỏ phản ánh tổng thể chính xác như mẫu lớn. Hệ quả là con người, kể cả nhà nghiên cứu, rút kết luận quá mạnh từ vài quan sát và ngạc nhiên khi kết quả không lặp lại được.
Dữ liệu lớn có thay thế được khảo sát chọn mẫu không?
Chưa thay thế được ở những câu hỏi cần đại diện cho toàn tổng thể. Dữ liệu giao dịch, mạng xã hội hay định vị rất lớn nhưng chỉ ghi nhận những người dùng một dịch vụ nhất định. Chúng bổ sung tốt cho khảo sát, nhất là để theo dõi nhanh, nhưng cần được hiệu chỉnh bằng dữ liệu mẫu xác suất.
