[ad_1]

در تاریخ 6 نوامبر سال 2020 ، با سیل توییت درمورد مقاله 2018 “پارادایم های آماری و پارادوکس ها در داده های بزرگ (من): قانون جمعیت بزرگ ، پارادوکس داده های بزرگ و انتخابات ریاست جمهوری 2016” بیدار شدم. . در آمریکا . “یک روح مهربان در پاسخ به این س theال که” نظرسنجی ها چه مشکلی دارد؟ “آن را پیشنهاد داده بود که منجر به مقاله ای شد که ویروسی شد.”

هرچقدر که از توجه تمجید شدم ، ناامید شدم از اینکه کسی نپرسیده است ، “چرا کسی اصلا انتظار دارد نظر سنجی درست باشد؟” یک نظرسنجی معمولاً از چند صد یا هزاران نفر نمونه می گیرد ، اما هدف از این کار شناختن جمعیتی است که به طور مکرر -بزرگ برای پیش بینی انتخابات ریاست جمهوری ایالات متحده ، انجام نظرسنجی 5000 نفر برای آگاهی از دیدگاه 230 میلیون نفر N (رأی دهندگان واجد شرایط) ، همان درخواست متوسط ​​دو نفر برای هر 100000 نفر است. رای دهندگان آیا این که انتظار داشته باشید در مورد بسیاری از نظرات تعداد کمی از افراد قابل اعتماد باشد ، بیهوده نیست؟

در حقیقت ، وقتی اندرس کی یر ، بنیانگذار آمار نروژ ، ایده جایگزینی سرشماری ملی با “نمونه های نمایندگی” را در کنگره جهانی انستیتوی آماری بین المللی (ISI) در سال 1895 پیشنهاد کرد ، واکنش ها “خشن بود و پیشنهادهای کی یر تقریباً به اتفاق آرا رد کرد! “همانطور که رئیس سابق ISI ژان لوئی بودن یادداشت می کند. تقریباً نیم قرن طول کشید تا این ایده به رسمیت شناخته شود.

نظریه آماری بررسی ممکن است برای بسیاری دشوار باشد ، اما ایده کلی یک نمونه نماینده بسیار خوشمزه تر است. در یک روزنامه در مورد تحقیقات گالوپ در کانادا (اتاوا شهروند ، 27 نوامبر 1941) ، گریگوری کلارک می نویسد:

“وقتی یک آشپز می خواهد سوپ را امتحان کند تا ببیند چطور می شود ، لازم نیست کل قابلمه را بنوشد. و همچنین او یک قاشق در بالا نمی گیرد ، سپس کمی در وسط و کمی در پایین. کل قابلمه را کاملاً هم بزنید. سپس آن را کمی بیشتر هم بزنید. و سپس او آن را می چشد. این روش نظرسنجی گالوپ است. “

بنابراین ، سس نظرسنجی مخفی در حال هم زدن است. هرگاه سوپ کاملاً مخلوط شود ، هر قسمت از آن می شود نماینده از کل سوپ و این امکان را می دهد که از یک یا دو قاشق نمونه برداری کرد تا بدون در نظر گرفتن اندازه ظرف ، طعم و بافت سوپ به طور قابل اعتماد ارزیابی شود. این نظرسنجی با “نمونه گیری تصادفی” به این “اختلاط کامل” دست می یابد ، که از نظر آماری یک مینیاتور ایجاد می کند که از جمعیت تقلید می کند.

اما این سس مخفی منبع فساد نیز هست. مقاله من در سال 2018 نشان می دهد که چگونه کمبود مخلوط کامل از نظر ریاضی را کمی سازی کنیم و نشان می دهد که چگونه یک تخلف مخلوط عمیق به ظاهر جزئی می تواند باعث خسارت شگفت آور زیادی به دلیل قانون جمعیت زیاد (LLP) شود. وی همچنین نشان داد که خطای نظرسنجی محصول سه شاخص است: کیفیت داده ، مقدار داده و دشواری مشکل.

برای درک بصری بصری ، بیایید از سوپ لذت ببریم. تشخیص سوپ طعم دهنده که فقط نمک دارد بسیار آسانتر از سوپ چینی با پنج ادویه است. مشکل مشکل پیچیدگی سوپ را اندازه می گیرد ، صرف نظر از اینکه چگونه آن را مخلوط کنیم یا اندازه قاشق. مقدار داده اندازه قاشق نسبت به اندازه ظرف پخت را ضبط می کند. این تغییر تأکید از فقط اندازه نمونه n به کسر نمونه n / N ، که به میزان جمعیت N وابسته است ، کلید LLP است.

مهمترین شاخص و همچنین دشوارترین ارزیابی ، می باشد کیفیت داده، اندازه گیری برای عدم اختلاط کامل. تصور کنید برخی از توده های ادویه جات در پخت و پز کاملاً حل نشده اند و اگر شانس بیشتری برای گیر افتادن توسط قاشق سرآشپز داشته باشند ، طعم آشپز احتمالاً تندتر از آش است. برای نظرسنجی ، اگر افرادی که نامزد B را به A ترجیح می دهند بیشتر (یا کمتر) نظرات خود را ارائه دهند ، نظرسنجی بیش از آرای B را پیش بینی می کند (یا پیش بینی می کند). این روند می توان با اصطلاح همبستگی پیرسون – بیایید آن را با r نشان دهیم – بین اولویت B و پاسخ (صادقانه) به نظر سنجی اندازه گیری می شود. هر چه مقدار | r | (مقدار r) ، خطای نظرسنجی بیشتر است. r مثبت نشان دهنده بیش از حد و r منفی دست کم گرفتن است.

ایده کامل مخلوط کردن نمونه برداری عمقی یا تصادفی این است که اطمینان حاصل شود که r قابل اغماض است ، یا از نظر فنی اطمینان حاصل شود که در ترتیب متقابل ریشه مربع N. قرار دارد. از نظر آماری این کوچکترین حد ممکن است ، زیرا همانطور که باید برخی از تصادفی بودن نمونه را مجاز کنیم. به عنوان مثال ، برای N = 230 میلیون ، | r | باید کمتر از یک در 15000 باشد. با این حال ، برای نظرسنجی های سال 2016 ، r -0.005 بود ، یا تقریباً از هر 200 پیش بینی سهم آرا Trump ترامپ ، همانطور که در مقاله من تخمین زده شده است (طبق بر اساس نظرسنجی های انجام شده توسط YouGov). در حالی که یک همبستگی نیم درصدی کوچک به نظر می رسد ، اما با ضرب در ریشه مربع N ، تأثیر آن به طور قابل توجهی افزایش می یابد.

به عنوان مثالی از این تأثیر ، مقاله من محاسبه می کند که میزان دقت آماری تا چه میزان کاهش می یابد | r | = 0.005. نظرات 2.3 میلیون پاسخ (حدود 1٪ از جمعیت واجد شرایط در سال 2016) با | r | = 0.005 دارای خطای رای گیری مورد انتظار همان نتیجه 400 پاسخ در یک نمونه تصادفی است. این کاهش 99.98٪ در اندازه نمونه واقعی است که یک ضرر شگفت آور از هر استاندارد است. 400 نظرسنجی با کیفیت هنوز هم می تواند پیش بینی های قابل اعتمادی را ارائه دهد ، اما هیچ مدیر کمپینی (واجد شرایط) این کمپین را متوقف نمی کند ، زیرا یک نظرسنجی 400 پیروزی را پیش بینی می کند. اما زمانی که پیش بینی برنده 2.3 میلیون پاسخ باشد ، که می تواند 2300 نظرسنجی باشد ، هرکدام با 1000 پاسخ ، می توانند (و در واقع برخی) متوقف شوند.

آنچه معمولاً در سال 2016 و متأسفانه در سال 2020 نادیده گرفته می شد (اما این مقاله را ببینید در بررسی علوم داده هاروارد) ، تأثیر مخرب LLP است. خطاهای آماری در نمونه هنگامی که اندازه نمونه را افزایش می دهیم متعادل می شوند ، اما تعصب سیستماتیک در انتخاب فقط با افزایش اندازه نمونه سخت می شود. از این بدتر ، تعصب انتخاب با توجه به تعداد جمعیت افزایش می یابد: هرچه جمعیت بیشتر باشد ، افزایش بیشتر خواهد بود. این اصل LLP است.

وقتی معلوم شد که کمی سوپ یک قاشق یک آشپز است ، او نمی تواند با خودش بگوید ، “خوب ، من کمی شور هستم ، پس بگذار بیرون بپرم!” ترس از پیامدهای (درک شده) افشای پاسخ خاص. در حالی که جامعه ما نمی داند چگونه چنین ترس هایی را از بین ببرد ، یا پاسخ دهندگان می توانند به طور معمول و قابل اعتماد با چنین پاسخ های انتخابی سازگار شوند ، همه ما می توانیم با گرفتن نتیجه نتایج نظرسنجی های نمک سالم ، شهروندان خردمندتری در عصر دیجیتال باشیم

[ad_2]

منبع: khabar-dirooz.ir