Iranian Journal of Medical Education

fa استفاده از فرمول کوکران برای بررسی معناداری قبولی یا مردودی دانشجویان Using Cochran formula for investigation of the significance of students' passing or failing: an evidence-based protocol in medical education مديريت آموزشي Educational Management نامه به سردبیر Letter to Editor در نظام ارزشیابی 20 نمرهای این ابهام وجود دارد که وقتی یک دانشجو نمرهی 1/10 یا 9/9 میگیرد چه قدر قبولی یا مردودی او برای ما معنادار است؟ به عبارت دیگر اگر آزمون تکرار شود، از کجا بدانیم که جای دو دانشجوی قبول و مردود عوض نمیشود. در این نامه برآن هستیم تا روشی را ارائه کنیم که با استفاده از آن بتوان معناداری قبولی یا مردودی دانشجویان را با استفاده از فرمول کوکران تشخیص داد. آمار و روش تحقیق نقش بسیار مهمی برای دانشجویان دارد. باید درنظر داشت که آمار و روش تحقیق نه صرفاً برای یادگیری مقاله نویسی است و نه یک هدف برای یک دانشجویی که براساس رشتهی تحصیلی خود رسالت دیگری دارد، بلکه وسیله و ابزارکاری ضروری برای مطالعه، تفسیر و نگاهی عمقی به مقالات و کتب مرجع برای آموزش، تشخیص و درمان دقیقتر است(1و2). از طرف دیگر، روایی و پایایی از ویژگیهای مهم و ضروری روشهای ارزشیابی است(3). از این رو میتوان از آمار برای ارزشیابی آموزش پزشکی نیز استفاده کرد. از آنجایی که در فرمولهای محاسبهی حجم نمونه، سه رکن اندازهی نمونه، اندازهی اثر (effect size) یا حداقل تفاوت بالینی معنادار، و نهایتاً سطح معناداری وجود دارد، فرمول کوکران (شکل 1) هم از این قائده مستثنی نیست. شکل 1: خلاصه شدهی فرمول کوکران   این فرمول برای تخمین حجم نمونه در مطالعات توصیفی به کار میرود. تصور اشتباه بر این است که در مطالعات توصیفی گزارش P value بیمعنا است؛ اما در حقیقت چنین نیست. ما در مطالعات توصیفی و مطالعات اقدام پژوهی به دنبال گزارش درصد فراوانی پدیدهی مورد نظر هستیم. حال این فراوانی مشاهده شده میشود فرضیهی شماره 1 ما. فرضیهی صفر درصدی است که قرار است درصد به دست آمده در فرضیهی 1 با آن مقایسه شود. برای مثال می‌خواهیم بررسی کنیم که چه میزان از پرتابهای یک تیم بسکتبال از حلقه رد میشود. در اینجا فرضیهی صفر ما، که از آن به عنوان احتمال ریاضی هم یاد میشود، مانند پرتاب سکه فراوانی 5/0 است. فرضیهی 1 ما، که از آن به عنوان احتمال تجربی هم یاد میشود، بسته به مهارت اعضای آن تیم متفاوت است. فرض کنیم در یک مطالعهی توصیفی برای یک تیم بسکتبال این احتمال را بهطور تجربی 6/0 به دست میآوریم. اکنون این برای ما مهم است که آیا این برتری 6/0 نسبت به 5/0 معنادار است یا خیر. در ادامهی همین مثال، برای ارتقای عملکرد تیم فوق یک برنامهی آموزشی در قالب یک اقدام پژوهشی اعمال میکنیم. سپس در ارزیابی بازخورد آن مشاهده میکنیم که این عدد به 7/0 رسیده است. برای این که ببینیم آیا موفقیت این برنامه معنادار بوده است یا خیر این بار 7/0 را فرضیهی 1 و 6/0 را فرضیهی صفر درنظر میگیریم. در چنین مواردی مجهول ما در فرمول کوکران Z میشود که به راحتی میتوان از روی Z score اقدام به محاسبهی P value نمود. برای راحتی کار فرمول تبدیل Z  به P value را در نرمافزار اکسل 2013 تعریف کردهایم. در پروتکل حاضر که مربوط به بررسی معناداری قبولی دانشجویان است، P فراوانی براساس فرضیهی صفر است (مثلاً نمرهی 10 از 20 میشود فراوانی 5/0)؛ Q نیز همان 1-P است؛ n تعداد سؤالات امتحان است؛ d اختلاف نمرهی دانشجوی مورد نظر از 10 برحسب فراوانی است (مثلاً نمرهی 12 از 20 میشود 6/0 کل نمره و d میشود 5/0-6/0)؛ و در نهایت Z که مجهول ما است و از روی آن P value حساب میشود. در همین مثال، کسب نمرهی 12 در یک آزمون 100 سؤاله در سطح 05/0 معنادار خواهد شد (شکل 2). بر همین اساس کسب نمرهی 8 نیز به معنای مردودی معنادار است. اما در مورد نمرات 8 تا 12 نمیتوان برای قبولی یا مردودی اظهار نظر کرد. بر همین اساس هرچه تعداد سؤالات یک امتحان کم‌تر باشد، برای معناداری فاصلهی بیش‌تری از نمرهی 10 لازم است. در جدول 1 مثالهای دیگر نیز بررسی شدهاند. براساس آن، برای آنکه نمرهی 11 به معنای قبولی معنادار باشد، لازم است تا آزمون مورد نظر بیش از 384 سؤال داشته باشد، و برای نمرهی 12 این عدد حدود 100 سؤال است. اضافه میگردد که بارم تمام سؤالات باید یکسان باشد.   شکل 2: نمونه مثال حل شده در فایل اکسل طراحی شده برای پروتکل جدول 1: نمونههای حل شده براساس فرمول کوکران (نمره/تعداد سؤال آزمون) (* معنادار در سطع 05/0) <table align="right" border="1" cellpadding="0" cellspacing="0" dir="rtl" style="width:100.0%;border-collapse:collapse;border:none;" width="100%"> <tbody> <tr style="height:13px;"> <td style="width:12.52%;border-top:solid green 1.5pt;border-left:none;border-bottom:solid green 1.0pt;border-right:none;background:#9BBB59;padding:0in 5.4pt 0in 5.4pt;height:13px;vertical-align:top;">385</td> <td style="width:12.52%;border-top:solid green 1.5pt;border-left:none;border-bottom:solid green 1.0pt;border-right:none;background:#9BBB59;padding:0in 5.4pt 0in 5.4pt;height:13px;vertical-align:top;">100</td> <td style="width:12.52%;border-top:solid green 1.5pt;border-left:none;border-bottom:solid green 1.0pt;border-right:none;background:#9BBB59;padding:0in 5.4pt 0in 5.4pt;height:13px;vertical-align:top;">80</td> <td style="width:12.52%;border-top:solid green 1.5pt;border-left:none;border-bottom:solid green 1.0pt;border-right:none;background:#9BBB59;padding:0in 5.4pt 0in 5.4pt;height:13px;vertical-align:top;">40</td> <td style="width:12.52%;border-top:solid green 1.5pt;border-left:none;border-bottom:solid green 1.0pt;border-right:none;background:#9BBB59;padding:0in 5.4pt 0in 5.4pt;height:13px;vertical-align:top;">20</td> <td style="width:11.66%;border-top:solid green 1.5pt;border-left:none;border-bottom:solid green 1.0pt;border-right:none;background:#9BBB59;padding:0in 5.4pt 0in 5.4pt;height:13px;vertical-align:top;">10</td> <td style="width:25.74%;border-top:solid green 1.5pt;border-left:none;border-bottom:solid green 1.0pt;border-right:none;background:#9BBB59;padding:0in 5.4pt 0in 5.4pt;height:13px;vertical-align:top;">نمره</td> </tr> <tr> <td style="width:12.52%;border:none;padding:0in 5.4pt 0in 5.4pt;vertical-align:top;">*050/0</td> <td style="width:12.52%;border:none;padding:0in 5.4pt 0in 5.4pt;vertical-align:top;">317/0</td> <td style="width:12.52%;border:none;padding:0in 5.4pt 0in 5.4pt;vertical-align:top;">371/0</td> <td style="width:12.52%;border:none;padding:0in 5.4pt 0in 5.4pt;vertical-align:top;">527/0</td> <td style="width:12.52%;border:none;padding:0in 5.4pt 0in 5.4pt;vertical-align:top;">654/0</td> <td style="width:11.66%;border:none;padding:0in 5.4pt 0in 5.4pt;vertical-align:top;">751/0</td> <td style="width:25.74%;border:none;padding:0in 5.4pt 0in 5.4pt;vertical-align:top;">11</td> </tr> <tr> <td style="width:12.52%;border:none;background:#EAF1DD;padding:0in 5.4pt 0in 5.4pt;vertical-align:top;">*000/0</td> <td style="width:12.52%;border:none;background:#EAF1DD;padding:0in 5.4pt 0in 5.4pt;vertical-align:top;">*045/0</td> <td style="width:12.52%;border:none;background:#EAF1DD;padding:0in 5.4pt 0in 5.4pt;vertical-align:top;">073/0</td> <td style="width:12.52%;border:none;background:#EAF1DD;padding:0in 5.4pt 0in 5.4pt;vertical-align:top;">205/0</td> <td style="width:12.52%;border:none;background:#EAF1DD;padding:0in 5.4pt 0in 5.4pt;vertical-align:top;">371/0</td> <td style="width:11.66%;border:none;background:#EAF1DD;padding:0in 5.4pt 0in 5.4pt;vertical-align:top;">527/0</td> <td style="width:25.74%;border:none;background:#EAF1DD;padding:0in 5.4pt 0in 5.4pt;vertical-align:top;">12</td> </tr> <tr> <td style="width:12.52%;border:none;padding:0in 5.4pt 0in 5.4pt;vertical-align:top;">*000/0</td> <td style="width:12.52%;border:none;padding:0in 5.4pt 0in 5.4pt;vertical-align:top;">*002/0</td> <td style="width:12.52%;border:none;padding:0in 5.4pt 0in 5.4pt;vertical-align:top;">*007/0</td> <td style="width:12.52%;border:none;padding:0in 5.4pt 0in 5.4pt;vertical-align:top;">057/0</td> <td style="width:12.52%;border:none;padding:0in 5.4pt 0in 5.4pt;vertical-align:top;">179/0</td> <td style="width:11.66%;border:none;padding:0in 5.4pt 0in 5.4pt;vertical-align:top;">342/0</td> <td style="width:25.74%;border:none;padding:0in 5.4pt 0in 5.4pt;vertical-align:top;">13</td> </tr> <tr> <td style="width:12.52%;border:none;background:#EAF1DD;padding:0in 5.4pt 0in 5.4pt;vertical-align:top;">*000/0</td> <td style="width:12.52%;border:none;background:#EAF1DD;padding:0in 5.4pt 0in 5.4pt;vertical-align:top;">*000/0</td> <td style="width:12.52%;border:none;background:#EAF1DD;padding:0in 5.4pt 0in 5.4pt;vertical-align:top;">*000/0</td> <td style="width:12.52%;border:none;background:#EAF1DD;padding:0in 5.4pt 0in 5.4pt;vertical-align:top;">011/0</td> <td style="width:12.52%;border:none;background:#EAF1DD;padding:0in 5.4pt 0in 5.4pt;vertical-align:top;">073/0</td> <td style="width:11.66%;border:none;background:#EAF1DD;padding:0in 5.4pt 0in 5.4pt;vertical-align:top;">205/0</td> <td style="width:25.74%;border:none;background:#EAF1DD;padding:0in 5.4pt 0in 5.4pt;vertical-align:top;">14</td> </tr> <tr> <td style="width:12.52%;border:none;border-bottom:solid green 1.5pt;padding:0in 5.4pt 0in 5.4pt;vertical-align:top;">*000/0</td> <td style="width:12.52%;border:none;border-bottom:solid green 1.5pt;padding:0in 5.4pt 0in 5.4pt;vertical-align:top;">*000/0</td> <td style="width:12.52%;border:none;border-bottom:solid green 1.5pt;padding:0in 5.4pt 0in 5.4pt;vertical-align:top;">*000/0</td> <td style="width:12.52%;border:none;border-bottom:solid green 1.5pt;padding:0in 5.4pt 0in 5.4pt;vertical-align:top;">*001/0</td> <td style="width:12.52%;border:none;border-bottom:solid green 1.5pt;padding:0in 5.4pt 0in 5.4pt;vertical-align:top;">*025/0</td> <td style="width:11.66%;border:none;border-bottom:solid green 1.5pt;padding:0in 5.4pt 0in 5.4pt;vertical-align:top;">113/0</td> <td style="width:25.74%;border:none;border-bottom:solid green 1.5pt;padding:0in 5.4pt 0in 5.4pt;vertical-align:top;">15</td> </tr> </tbody> </table> <div style="clear:both;"></div>  نظام ارزشیابی در کشورهای مختلف بهطور کلی به دو صورت کمی و کیفی است. مطالعات مختلفی در مورد مقایسهی این روشها و نیز میزان رضایت‌مندی دانشجویان صورت گرفته است. اما در هیچکدام از آنها به معناداری و دامنهی تکرارپذیری این ارزشیابیها اشاره نشدهاست. از این رو در پژوهش حاضر به عنوان یک ضرورت به دنبال ارائه روش فوق بودیم. براساس روش طراحی شده در پژوهش حاضر، دانشجویان در سه گروه قرار میگیرند؛ قبولی معنادار، مردودی معنادار و غیر قابل قضاوت. برای بازه‌ی غیر قابل قضاوت میتوان از واژهی دیگری مثل "مشروط" استفاده نمود. از نقاط قوت این روش میتوان به عدم نیاز به ارفاق نمره جهت کاهش آمار مردودی، اشاره نمود. از محدودیتها و مشکلات این روش نیز میتوان به لزوم زیاد بودن تعداد سؤالات و نیز بلاتکلیفی گروه مشروط اشاره نمود. برای رفع مشکل زیاد بودن تعداد سؤال میتوان cutoff معناداری را براساس تخمین دستی خطای آلفا افزایش داد؛ بدین صورت که خطای آلفا برابر باشد با درصدی از افراد که به روش سابق نمره‌ی کم‌تر از 10 می‌آورند. برای رفع مشکل بلاتکلیفی گروه مشروط نیز میتوان از روشهای تکمیلی مانند مصاحبه‌ی شفاهی از این دانشجویان برای بررسی صلاحیت گذراندن آن درس استفاده کرد؛ یا این که در هر مقطع تحصیلی برای هر دانشجو سقف مجاز برای تعداد دروس مشروطی درنظر گرفت. پیشنهاد میشود که از این روش در یک مطالعهی اقدام پژوهی استفاده گردد و از دانشجویان هدف نظرسنجی شود. البته در این مرحله نیازی نیست که این نمرات در کارنامهی دانشجویان اعمال شود؛ بلکه صرفاً یک اقدام پژوهی برای دریافت بازخورد از این برنامه است. در پایان بدین وسیله مراتب سپاس خود را از مرکز مطالعات و توسعهی آموزش پزشکی دانشگاه علوم پزشکی لرستان اعلام میداریم.   نامه به سردبیر, فرمول کوکران, مردودی دانشجویان 319 321 http://ijme.mui.ac.ir/browse.php?a_code=A-10-3898-1&slc_lang=fa&sid=1 Khatereh Anbari خاطره عنبری dr.anbari@gmail.com 7000319475328460068937 7000319475328460068937 No Lorestan University of Medical Sciences دانشگاه علوم پزشکی لرستان Seyyed Amir Yasin Ahmadi سیّدامیریاسین احمدی yasin_ahmadi73@yahoo.com 7000319475328460068938 7000319475328460068938 Yes Lorestan University of Medical Sciences دانشگاه علوم پزشکی لرستان Sobhan Rezaian سبحان رضائیان tsabooteh@yahoo.com 7000319475328460068939 7000319475328460068939 No Lorestan University of Medical Sciences دانشگاه علوم پزشکی لرستان Toomaj Sabooteh توماج سابوته tsabooteh@yahoo.com 7000319475328460068940 7000319475328460068940 No Lorestan University of Medical Sciences دانشگاه علوم پزشکی لرستان Razieh Shirzadehgan راضیه شیرزادگان raziehshirzad07@gmail.com 7000319475328460068941 7000319475328460068941 No Lorestan University of Medical Sciences دانشگاه علوم پزشکی لرستان Toomaj Pirzadroozbahani نجمه پیرزاد روزبهانی najmepirzad.92@gmail.com 7000319475328460068942 7000319475328460068942 No Lorestan University of Medical Sciences دانشگاه علوم پزشکی لرستان