عوامل معنا دارکردن آمار

 اشاره: درس‌نامه آنلاین روزنامه‌نگاری علمی از سوی فدراسیون جهانی روزنامه‌نگاران علمی (WFSJ)  و با همکاری شبکه علوم و توسعه (SciDev.Net) طراحی شده است. پیش از این هفت درس از این مجموعه با عناوین زیر از نظرتان گذشت:

1-     طراحی و ساختاربندی روزنامه نگاری علمی

2-     سوژه یابی و داوری در باره اعتبار منابع  اطلاعاتی

3-     آمادگی های پیش ،آغاز و انجام مصاحبه

4-     مهارت های نگارش

5-     چیستی علم و روش  روزنامه نگارانه در دنیای علم

6-     گزارشگری در مورد مناقشات علمی

7-     گزارشگری سیاست های علمی

8-     تصویر برداری از علم

در نهمین درس از این مجموعه با عنوان 'درک آمار' چگونگی درک و دریافت روزنامه نگاران از ، آمار و ارقام و نیز نحوه معنا دار کردن آمار و ارقام برای عموم مردم  مورد بحث و برسی قرا ر  گرفته است . بخش اول  این درسنامه با عنوان 'معنا دارکردن آمار برای مردم' پیش از  این از نظرتان گذشت اکنون بخش پایانی این درس  با عنوان 'عوامل معنا دارکردن آمار' از نظرتان می گذرد.

***

9.8 : همبستگی در مقابل رابطه

بزرگترین دامی که پیش پای ما قرار دارد این است که همبستگی دو رویداد را معادل علیت در نظر بگیریم. هر بار که یک گره ترافیکی ایجاد می شود، در آنجا پلیس هم حضور دارد اما پلیس ها معمولا عامل و علت مساله و مشکل نیستند. می توان در این باره مثال های مشابه که به همان اندازه اشتباه از آب درمی آیند هم مطرح کرد. اما شگفت زده خواهید شد از اینکه ببینید به محض اینکه مسایل به اندازه مثال بالا بدیهی نباشد نتایج اشتباه و گمراه کننده ای که به دست خواهد آمد چقدر پذیرفتنی است.

توانایی کودکانی که پاهای بزرگتری دارند در نوشتن بیش از کودکانی است که پاهای کوچکتری دارند. البته علت این امر به اندازه کفش و تاثیر آن در نوشتن ربطی ندارد بلکه به این دلیل است که کودکانی با سن  بالاتر اندازه پاهای بزرگتری دارند و درس های نوشتنی بیشتری را در مدرسه پشت سر گذاشته اند. اگر شما با لباس به رختخواب بروید و در عین حال سر درد داشته باشید این به معنی آن نیست که این دو مساله به هم ربط دارند بلکه هر دو آنها به عامل سومی وابسته هستند.

بستگی دو چیز با یکدیگر می تواند به طور کامل تصادفی باشد. همانطور که دمای جهانی افزایش پیدا می کند تعداد دزدان دریایی هم زیاد شده است. این چیزی است که می توان به سادگی عدم ارتباط آن را مشاهده کرد اما درباره  تعداد ماشین ها  ، تعداد لباس های شنای فروخته شده و جمعیت مارمولک های چطور؟

یک مورد ویژه عامل خطر در پزشکی است. فشار خون بالا و کلسترول بالا عوامل خطری برای بیماری های قلبی به شمار می روند. به همین دلیل به مردم توصیه فراوانی می شود که غذاهای سالم تری را بخورند. اما کلسترول بالا عامل بیماری قلبی نیست. داستان این است که در گروهی از مردم که کلسترول بالاتری دارند تعداد افراد بیشتری بیماری قلبی می گیرند. بسیاری از افرادی که از بیماری قلبی می میرند کلسترول های نرمالی داشته اند.

آیا راه رفتن با عصا عامل خطری برای افتادن افراد به شمار می رود؟ تعداد افرادی که از عصا استفاده کرده و سقوط می کنند بیشتر از افرادی است که از عصا استفاده نکرده و سقوط می کنند (به مساله سن توجه کنید) در نظر گرفتن اینکه چه چیزی عامل خطر است و در این مورد دور کردن عامل خطر فرضی (عصا) فقط شرایط را پیچیده تر می کند.

مثال: نگاهی به این مقاله درباره ارتباط دکل های تلفن همراه و تولد کودکان بیاندازید

http://www.guardian.co.uk/science/blog/2010/dec/17/mobile-phone-masts-birth-rate

این مقاله که در روزنامه گاردین منتشر شده است توضیح می‌دهد که چطور گاهی روزنامه نگارها ممکن است نتایج غلطی از داده های درست بگیرند.

9.9 : معنا یا   Significance

این روزها واژها معنی دار بودن  یا Significance (قطعیت آماری) کلمه ای جادویی در علم به شمار می رود. روزگاری نه چندان دور هیچ کس به این مفهوم فکر نمی کرد اما اکنون همه چیز باید مشخص شود تا چه حدی معنی دار است تا فرصت انتشار در ژورنال های علمی را پیدا کند. با این وجود گاهی خود دانشمندان نیز دقیقا نمی دانند منظورشان از اینکه یک نتیجه باید چشمگیر و یا معنی دار باشد چیست؟ این یکی از مفاهیم پیچیده آماری در علم به شمار می رود.

معنی دارم بودن و چشمگیری  روشی در علم است که به کمک آن نتایج واقعی از یافته های تصادفی جدا و متمایز می شوند. اگر دانشمندی کشف چشمگیری انجام داد و مدعی صحت و درستی آن شد به شما خواهد گفت اگر حرف مرا قبول ندارید پس به چه طریق دیگری می خواهید نتایج این آزمایش و بررسی را توضیح دهید؟ در پاسخ این پرسش، دانشمند دیگری ممکن است بگوید درست می گویی ممکن است حق با تو باشد و یا اینکه کار خوبی است اما آیا گزینه ها و احتمالات  الف، ب، پ و ت را نیز بررسی کرده ای؟

آزمودن فرضیه ها

آزمون های معنی داری به معنی مدرن کلمه درباره مقایسه دو فرضیه است و انجام آزمایش هایی برای اینکه تعیین کنیم کدام یک درست است. فرضیه من این است که خواننده این متن از متوسط جمعیت جهان باهوش تر باشد (میانگین 100 با انحراف معیار 15)  این فرضیه به خودی خود  در مقایسه با فرضیات  تهی و بی ارزش دیگر فرقی ندارد. اما اگر نتایج آزمایش ها و بررسی ها به طور مشخصی نشان دهد که این نتیجه‌گیری نمی تواند تنها بر اثر شانس به وجود آمده باشد آنگاه نتیجه گیری من معنی دار است. توجه کنید که باید هر دو فرضیه را قبل از آنکه هر آزمایشی را انجام دهیم صورت بندی کرده باشیم و بر سر این موضوع به توافق رسیده باشیم که چه چیزی را می توان شانس محض نامید. یک فضای مشخص و منصفانه برای آزمایش ترتیب داده و سپس آزمون را آغاز کنیم. ما نمی توانیم به داده ها نگاه کنیم و یک نقطه برجسته را در جایی از آن انتخاب کنیم و بگوییم: این یافته معنی دار و قابل توجهی است. همینطور نمی توانیم به همه داده ها نگاه کنیم و سپس فرضیه خود را بنا کنیم. خوب. آیا خواننده های این درس به طور معنی داری باهوش تر از بقیه مردم جهان هستند؟ بیایید فرض کنیم تعدادی از آنها آزمون IQ بدهند و مشخص شود میانه امتیاز IQ آنها 105 و با انحراف معیار 2 امتیاز است - به طور مشخص برخی از افراد امتیاز بالا تری گرفته‌ اند برخی امتیاز پایین تر از میانگین، به علاوه خطای اندازه گیری نیز در این میان وجود دارد، همینطور پراکندگی در توزیع امتیاز ها به چشم می خورد. دوباره از آنجاییکه 95 درصد توزیع درفاصله 4 برابری انحراف معیار از میانه قرار داشته باشند - در اینجا بین امتیاز 101 تا 109  انتظار داریم 2.5 درصد خواننده های ما امتیازشان زیر 101 ( و 2.5 درصد بالای 109 باشد(. این درصد بسیار اندکی است - کمتر از آنکه بتوان  آن را به عنوان نتیجه شانس در نظر گرفت. بنابراین نتیجه می گیریم که  خواننده های ما به طور معنی داری دارای ضریب هوشی بیشتری از بقیه مردم هستند.

درباره این موضوع می توانیم از عدد z به جای آن استفاده کنیم: ما تفاوتی 5 امتیازی بین میانگین مورد انتظار و نتیجه خود به دست می آوریم. بنابراین عدد z ( حاصل تقسیم این تفاوت بر انحراف معیار) برابر است با 5 تقسیم بر 2 یا 2.5. z  بزرگتر از مثبت 2 ( یا کمتر از منفی 2) در یک سطح 5 درصدی معنی دار فرض می شود.

اکثر مقاله های پزشکی عموما سطح 5 درصد را در نشریات و تحقیقات خود مورد استفاده قرار می دهند. اما این تنها یک قرارداد تاکتیکی است. اگر ما بیشتر به نتایج خود اطمنان داشته باشیم ممکن است تصمیم بگیریم سطح 1 درصد را با عدد z 2.6 در نظر بگیریم از سوی دیگر اگر این قدر بخواهیم دقیق باشیم این خطر را قبول می کنیم که ایده ما به طور کلی به دلیل تفاوت در این عدد کنار زده شود در حالیکه تفاوت واقعی وجود دارد اما نه به اندازه ای که فرضیه ما پیش بینی کرده بود .

اندازه نمونه

یکی از عوامل پیچیده در این میان این است: انحراف معیار میانگین ضریب هوشی خواننده های ما تنها به به توزیع امتیاز آنها بستگی ندارد بلکه به تعداد افرادی که تست را پشت سر گذاشته اند نیز وابسته است. اگر افراد بیشتری را مورد آزمون قرار دهیم اندازه گیری ما دقیق تر می شود. اما این در عین حال به این معنی است که هر آزمونی را می توان با افزایش تعداد افرادی که آزمون برروی آنها صورت گرفته است معنی دار تر کرد (مثلا تعداد بیماران، موش ها، الکترون ها)  - و همینطور برعکس، این مساله مهمی است و بسیاری از تفاوت ها ممکن است تنها به دلیل کوچک بودن اندازه نمونه مفقود شوند.

برخی از اوقات ما نیاز داریم که گروه بزرگی را مورد آزمون قرار دهیم تا تفاوت های ظریف را آشکار کنیم. اما برخی از اوقات ممکن است این تفاوت ها معنی خاصی نداشته باشد - و دانشمندان گاهی تنها نویزها را اندازه گیری می کنند. دانشمندان وظیفه شناس از پیش تعیین می کنند که کدام یک از تاثیرها مورد توجه حداقلی آنها است و آنگاه اندازه نمونه مورد نظر خود را طراحی می کنند تا تنها عوامل مورد نظر آنها در آن موثر باشد. بدین ترتیب از اینکه نمونه های زیادی را مورد بررسی قرار بدهند صرفه نظر و همچنین از صرف هزینه زیاد خودداری می کنند. به جای اینکه تنها بگویید یافته های ما معنی دار است بهتر است نشان دهید که دربازه اطمینان 95 درصد قرار دارند: این نوع بیان اندکی اطلاعات بیشتری همراه دارد. برای مثال IQ ما تخمین نقطه ضریب هوشی 105 را بین خوانندگان مان با اطمینان 95 درصد در بازه 101 تا 109 به دست آوردیم. به زبان عادی این یعنی : ما فهمیدیم ضریب هوشی 105  در گروه نمونه خوانندگان‌مان میانه است و مطمئنیم از هر 20 عضوی که از نمونه انتخاب کنید 19 مورد آنها ضریب هوشی بین 101 تا 109 دارند. از آنجایی که اطمینانی که ما در بازه 101 تا 109 پیدا کردیم در بردارنده عدد خارج از فرضیه 100 نیست پس این یافته معنی دار است.

9.10 : برخی از مشکلات دیگر

راحت ترین راه برای اینکه به آمار مورد نظرتان دست پیدا کنید در واقع همان روشی است که به طور گسترده مورد استفاده قرار می گیرد:به نیمه گفته نشده داستان توجه کنید. به عبارتی ما یک دایره را در اینجا کامل می کنیم. همه چیز درباره چهارچوب است. روزنامه نگارها نه تنها باید درباره آنچه به آنها گفته می شود دقت کنند و مواظب باشند بلکه باید مواظب آنچه به آنها گفته نشده است هم باشند.

به مثال داروهای ضد افسردگی برگردیم که بیان می کرد 40 درصد استفاده کنندگان از مشکلات جنسی رنج می برند. سوال هوشمندانه ای که می توان در این مرحله پرسید این است که چند نفر و یا چند درصد از کسانی که از این داروها مصرف نمی کنند با  این مشکلات جنسی مواجهند؟ اگر 30 درصد آنها چنین مشکلاتی دارند، آن وقت مساله کاملا  متفاوت خواهد بود چون استفاده از این داروها خطر بروز مشکل در زمینه ارتباط جنسی را تنها 10 درصد افزایش خواهد داد.

همیشه بسیار مهم است که به خاطر داشته بشیم گروه ناظر را درنظر بگیریم - اگر گروه ناظری یا کنترلی وجود نداشته باشد کار انجام شده علمی نیست. ما در مقاله ای می خوانیم که قرص جدیدی باعث کاهش خشونت در طی 24 ساعت می شود (یا حمله قلبی یا خطر ابتلا به سرطان) اما این کاهش و یا برزو این رفتار در جمعیتی که این قرص را دریافت نکرده اند چقدر بوده است؟ اگر یک ژن خطر ابتلا به یک بیماری را دو برابر می کند چه تعدادی از کودکانی که این بیماری را دارند از آن ژن برخوردارند؟ و چند نفر از آنها فاقد این ژن هستند؟ آیا این نسبت 2 به صد در مقابل 1 به صد است؟ اگر چنین است آن وقت نمی توان ادعا کرد که ژن این بیماری کشف شده است. اگر این نسبت 7 در برابر 14 باشد چطور؟

این هم مشکل دیگری است. اگر نوعی ناتوانی جنسی ناچیز باشد مثلا 1 به صد افزایش ده درصدی آن ( یعنی تبدیل 1 به 91) شاید قابل تحمل و قبول باشد. اما اگر تناوب آن بیشتر باشد ممکن است منجر به از بین رفتن یک رابطه بشود. نرخ پایه یا Base Rate  بسیار مهم است و در مسایل دیگر نیز اهمیت خود را نشان می دهد: مسایلی که نادرند پیدا کردنشان دشوار است. حتی اگر تعداد آنها نادر هم نباشد شاید یک تست بیشتر غلط - مثبت از آب دربیایید تا درست - مثبت چرا که تعداد بیشتر ی افراد سالم وجود دارند. به طور مشابه آزمون اندازه گیری وزن افراد برای پیدا کردن تروریست ها در هواپیما ممکن نیست. چرا که در نتیجه شما تعداد افراد بیشتری از بیگناهان را جدا خواهید کرد تا مظنونین را. پیدا کردن یک سوزن در یک انبار کاه غیر ممکن است نه به این دلیل که شما نمی توانید سوزنی پیدا کنید بلکه به این دلیل که شما دایم فکر می کنید آنر ا پیدا کرده اید .

خلبانانی که در هنگام آزمایش های تمرینی از سوی مدرسانشان مورد تشویق قرار گرفته اند، بلافاصله عملکردشان کاهش یافته است. به همین دلیل مدرسان تشویق کردن شاگردان را متوقف کردند و شاگردان اندکی بد تر عمل کردند. اتفاقی که در واقعیت افتاده بود  این بود  که خلبان ها همیشه داشتند بهترین توانایی خود را بروز می دادند در حالت اول آنها خوب بودند و تنها اندکی خوش شانسی آورده بودند و در حالت دوم آنها بازهم خوب بودند اما این بار اندکی کم شانس تر بودند و به همین دلیل نتیجه بدتر شد. من می خواهم به دیدن دکتر بروم آن هم زمانی که شکایتم از بیماری و ناراحتی ام غیر قابل تحمل شده باشد -وضعیتم  بد است و در این شرایط وضعیتم  بدتر از حالت معمول هم شده است. دکتر فقط نگاهی به آنها می اندازد و فردای آن روز من احساس بهتری می کنم. وضعیت من هیچ تغییری نکرده است فقط نوسان ناراحتی به جای دیگری منتقل شده است. مقامات در خطرناک ترین چهارراه ها دوربین نصب می کنند و فکر می کنند این سنجش باعث کاهش تصادف ها می شود، پسرها، فوتبالیست ها و بازیکنان خوبی هستند ولی معمولا نه به خوبی پدرانشان.

برخی از بهترین آمار دان ها خود را درگیر چنین بررسی های کرده اند. چیزی که آن را رگرسیون به میانه می نامند. دلیل اصلی که همه تحقیقات جدید پزشکی از دارونما استفاده می کنند همین است : همه افراد به خاطر رگرسیون به میانه از اینکه قرص دریافت می کنند احساس بهتری پیدا می کنند. اما آیا بیمارانی که قرص های واقعی را می خورند واقعا بهتر می شوند؟ همیشه این مساله را در نظر داشته باشد به خصوص زمانی که افراد ( یا صنعت ) در بدترین شرایط خود هستند و از نتایج یک درمان ( یا حمایت ها) بیشترین سود را می برند.

9.11: نتیجه

این مطلب را با اخطار دیگری به پایان می بریم. شاید هیچ حوزه ای از علوم به اندازه آمار از دشواری ها و فرضیات پنهان و دام ها مملو نباشد. به نظر می رسد که به سادگی می توان اشتباهی را مرتکب شد. بنابراین حتی با فرض اینکه شما این درس را گذرانده اید سعی نکنید تبدیل به یک آمار دان آماتور شوید. زمانی که شک می کنید به یک آمار دان متخصص زنگ بزنید. و اگر هیچ کسی را نمی شناسید سعی کنید با یکی از آنها دوست شوید که بتوانید هر زمانی که نیاز داشتید با او تماس بگیرید. آمار دانها بنا بر تجربه من یکی از موثر ترین و کمک کننده ترین افراد در میان دانشمندان هستند.