جلد 18 -
جلد 18 - صفحات 321-319 |
برگشت به فهرست نسخه ها
Download citation:
BibTeX | RIS | EndNote | Medlars | ProCite | Reference Manager | RefWorks
Send citation to:
BibTeX | RIS | EndNote | Medlars | ProCite | Reference Manager | RefWorks
Send citation to:
Anbari K, Ahmadi S A Y, Rezaian S, Sabooteh T, Shirzadehgan R, Pirzadroozbahani T. Using Cochran formula for investigation of the significance of students' passing or failing: an evidence-based protocol in medical education. Iranian Journal of Medical Education 2018; 18 :319-321
URL: http://ijme.mui.ac.ir/article-1-4710-fa.html
URL: http://ijme.mui.ac.ir/article-1-4710-fa.html
عنبری خاطره، احمدی سیّدامیریاسین، رضائیان سبحان، سابوته توماج، شیرزادگان راضیه، پیرزاد روزبهانی نجمه. استفاده از فرمول کوکران برای بررسی معناداری قبولی یا مردودی دانشجویان. مجله ایرانی آموزش در علوم پزشکی. 1397; 18 () :319-321
خاطره عنبری 
، سیّدامیریاسین احمدی* ، سبحان رضائیان ، توماج سابوته ، راضیه شیرزادگان ، نجمه پیرزاد روزبهانی
، سیّدامیریاسین احمدی* ، سبحان رضائیان ، توماج سابوته ، راضیه شیرزادگان ، نجمه پیرزاد روزبهانی
دانشگاه علوم پزشکی لرستان ، yasin_ahmadi73@yahoo.com
چکیده: (4743 مشاهده)
در نظام ارزشیابی 20 نمرهای این ابهام وجود دارد که وقتی یک دانشجو نمرهی 1/10 یا 9/9 میگیرد چه قدر قبولی یا مردودی او برای ما معنادار است؟ به عبارت دیگر اگر آزمون تکرار شود، از کجا بدانیم که جای دو دانشجوی قبول و مردود عوض نمیشود. در این نامه برآن هستیم تا روشی را ارائه کنیم که با استفاده از آن بتوان معناداری قبولی یا مردودی دانشجویان را با استفاده از فرمول کوکران تشخیص داد.
آمار و روش تحقیق نقش بسیار مهمی برای دانشجویان دارد. باید درنظر داشت که آمار و روش تحقیق نه صرفاً برای یادگیری مقاله نویسی است و نه یک هدف برای یک دانشجویی که براساس رشتهی تحصیلی خود رسالت دیگری دارد، بلکه وسیله و ابزارکاری ضروری برای مطالعه، تفسیر و نگاهی عمقی به مقالات و کتب مرجع برای آموزش، تشخیص و درمان دقیقتر است(1و2). از طرف دیگر، روایی و پایایی از ویژگیهای مهم و ضروری روشهای ارزشیابی است(3). از این رو میتوان از آمار برای ارزشیابی آموزش پزشکی نیز استفاده کرد.
از آنجایی که در فرمولهای محاسبهی حجم نمونه، سه رکن اندازهی نمونه، اندازهی اثر (effect size) یا حداقل تفاوت بالینی معنادار، و نهایتاً سطح معناداری وجود دارد، فرمول کوکران (شکل 1) هم از این قائده مستثنی نیست.
شکل 1: خلاصه شدهی فرمول کوکران
این فرمول برای تخمین حجم نمونه در مطالعات توصیفی به کار میرود. تصور اشتباه بر این است که در مطالعات توصیفی گزارش P value بیمعنا است؛ اما در حقیقت چنین نیست. ما در مطالعات توصیفی و مطالعات اقدام پژوهی به دنبال گزارش درصد فراوانی پدیدهی مورد نظر هستیم. حال این فراوانی مشاهده شده میشود فرضیهی شماره 1 ما. فرضیهی صفر درصدی است که قرار است درصد به دست آمده در فرضیهی 1 با آن مقایسه شود. برای مثال می‌خواهیم بررسی کنیم که چه میزان از پرتابهای یک تیم بسکتبال از حلقه رد میشود. در اینجا فرضیهی صفر ما، که از آن به عنوان احتمال ریاضی هم یاد میشود، مانند پرتاب سکه فراوانی 5/0 است. فرضیهی 1 ما، که از آن به عنوان احتمال تجربی هم یاد میشود، بسته به مهارت اعضای آن تیم متفاوت است. فرض کنیم در یک مطالعهی توصیفی برای یک تیم بسکتبال این احتمال را بهطور تجربی 6/0 به دست میآوریم. اکنون این برای ما مهم است که آیا این برتری 6/0 نسبت به 5/0 معنادار است یا خیر. در ادامهی همین مثال، برای ارتقای عملکرد تیم فوق یک برنامهی آموزشی در قالب یک اقدام پژوهشی اعمال میکنیم. سپس در ارزیابی بازخورد آن مشاهده میکنیم که این عدد به 7/0 رسیده است. برای این که ببینیم آیا موفقیت این برنامه معنادار بوده است یا خیر این بار 7/0 را فرضیهی 1 و 6/0 را فرضیهی صفر درنظر میگیریم. در چنین مواردی مجهول ما در فرمول کوکران Z میشود که به راحتی میتوان از روی Z score اقدام به محاسبهی P value نمود. برای راحتی کار فرمول تبدیل Z به P value را در نرمافزار اکسل 2013 تعریف کردهایم.
در پروتکل حاضر که مربوط به بررسی معناداری قبولی دانشجویان است، P فراوانی براساس فرضیهی صفر است (مثلاً نمرهی 10 از 20 میشود فراوانی 5/0)؛ Q نیز همان 1-P است؛ n تعداد سؤالات امتحان است؛ d اختلاف نمرهی دانشجوی مورد نظر از 10 برحسب فراوانی است (مثلاً نمرهی 12 از 20 میشود 6/0 کل نمره و d میشود 5/0-6/0)؛ و در نهایت Z که مجهول ما است و از روی آن P value حساب میشود. در همین مثال، کسب نمرهی 12 در یک آزمون 100 سؤاله در سطح 05/0 معنادار خواهد شد (شکل 2). بر همین اساس کسب نمرهی 8 نیز به معنای مردودی معنادار است. اما در مورد نمرات 8 تا 12 نمیتوان برای قبولی یا مردودی اظهار نظر کرد. بر همین اساس هرچه تعداد سؤالات یک امتحان کم‌تر باشد، برای معناداری فاصلهی بیش‌تری از نمرهی 10 لازم است. در جدول 1 مثالهای دیگر نیز بررسی شدهاند. براساس آن، برای آنکه نمرهی 11 به معنای قبولی معنادار باشد، لازم است تا آزمون مورد نظر بیش از 384 سؤال داشته باشد، و برای نمرهی 12 این عدد حدود 100 سؤال است. اضافه میگردد که بارم تمام سؤالات باید یکسان باشد.
شکل 2: نمونه مثال حل شده در فایل اکسل طراحی شده برای پروتکل
جدول 1: نمونههای حل شده براساس فرمول کوکران (نمره/تعداد سؤال آزمون) (* معنادار در سطع 05/0)
نظام ارزشیابی در کشورهای مختلف بهطور کلی به دو صورت کمی و کیفی است. مطالعات مختلفی در مورد مقایسهی این روشها و نیز میزان رضایت‌مندی دانشجویان صورت گرفته است. اما در هیچکدام از آنها به معناداری و دامنهی تکرارپذیری این ارزشیابیها اشاره نشدهاست. از این رو در پژوهش حاضر به عنوان یک ضرورت به دنبال ارائه روش فوق بودیم.
براساس روش طراحی شده در پژوهش حاضر، دانشجویان در سه گروه قرار میگیرند؛ قبولی معنادار، مردودی معنادار و غیر قابل قضاوت. برای بازه‌ی غیر قابل قضاوت میتوان از واژهی دیگری مثل "مشروط" استفاده نمود. از نقاط قوت این روش میتوان به عدم نیاز به ارفاق نمره جهت کاهش آمار مردودی، اشاره نمود. از محدودیتها و مشکلات این روش نیز میتوان به لزوم زیاد بودن تعداد سؤالات و نیز بلاتکلیفی گروه مشروط اشاره نمود. برای رفع مشکل زیاد بودن تعداد سؤال میتوان cutoff معناداری را براساس تخمین دستی خطای آلفا افزایش داد؛ بدین صورت که خطای آلفا برابر باشد با درصدی از افراد که به روش سابق نمرهی کم‌تر از 10 می‌آورند. برای رفع مشکل بلاتکلیفی گروه مشروط نیز میتوان از روشهای تکمیلی مانند مصاحبه‌ی شفاهی از این دانشجویان برای بررسی صلاحیت گذراندن آن درس استفاده کرد؛ یا این که در هر مقطع تحصیلی برای هر دانشجو سقف مجاز برای تعداد دروس مشروطی درنظر گرفت.
پیشنهاد میشود که از این روش در یک مطالعهی اقدام پژوهی استفاده گردد و از دانشجویان هدف نظرسنجی شود. البته در این مرحله نیازی نیست که این نمرات در کارنامهی دانشجویان اعمال شود؛ بلکه صرفاً یک اقدام پژوهی برای دریافت بازخورد از این برنامه است.
در پایان بدین وسیله مراتب سپاس خود را از مرکز مطالعات و توسعهی آموزش پزشکی دانشگاه علوم پزشکی لرستان اعلام میداریم.
آمار و روش تحقیق نقش بسیار مهمی برای دانشجویان دارد. باید درنظر داشت که آمار و روش تحقیق نه صرفاً برای یادگیری مقاله نویسی است و نه یک هدف برای یک دانشجویی که براساس رشتهی تحصیلی خود رسالت دیگری دارد، بلکه وسیله و ابزارکاری ضروری برای مطالعه، تفسیر و نگاهی عمقی به مقالات و کتب مرجع برای آموزش، تشخیص و درمان دقیقتر است(1و2). از طرف دیگر، روایی و پایایی از ویژگیهای مهم و ضروری روشهای ارزشیابی است(3). از این رو میتوان از آمار برای ارزشیابی آموزش پزشکی نیز استفاده کرد.
از آنجایی که در فرمولهای محاسبهی حجم نمونه، سه رکن اندازهی نمونه، اندازهی اثر (effect size) یا حداقل تفاوت بالینی معنادار، و نهایتاً سطح معناداری وجود دارد، فرمول کوکران (شکل 1) هم از این قائده مستثنی نیست.
شکل 1: خلاصه شدهی فرمول کوکران
این فرمول برای تخمین حجم نمونه در مطالعات توصیفی به کار میرود. تصور اشتباه بر این است که در مطالعات توصیفی گزارش P value بیمعنا است؛ اما در حقیقت چنین نیست. ما در مطالعات توصیفی و مطالعات اقدام پژوهی به دنبال گزارش درصد فراوانی پدیدهی مورد نظر هستیم. حال این فراوانی مشاهده شده میشود فرضیهی شماره 1 ما. فرضیهی صفر درصدی است که قرار است درصد به دست آمده در فرضیهی 1 با آن مقایسه شود. برای مثال می‌خواهیم بررسی کنیم که چه میزان از پرتابهای یک تیم بسکتبال از حلقه رد میشود. در اینجا فرضیهی صفر ما، که از آن به عنوان احتمال ریاضی هم یاد میشود، مانند پرتاب سکه فراوانی 5/0 است. فرضیهی 1 ما، که از آن به عنوان احتمال تجربی هم یاد میشود، بسته به مهارت اعضای آن تیم متفاوت است. فرض کنیم در یک مطالعهی توصیفی برای یک تیم بسکتبال این احتمال را بهطور تجربی 6/0 به دست میآوریم. اکنون این برای ما مهم است که آیا این برتری 6/0 نسبت به 5/0 معنادار است یا خیر. در ادامهی همین مثال، برای ارتقای عملکرد تیم فوق یک برنامهی آموزشی در قالب یک اقدام پژوهشی اعمال میکنیم. سپس در ارزیابی بازخورد آن مشاهده میکنیم که این عدد به 7/0 رسیده است. برای این که ببینیم آیا موفقیت این برنامه معنادار بوده است یا خیر این بار 7/0 را فرضیهی 1 و 6/0 را فرضیهی صفر درنظر میگیریم. در چنین مواردی مجهول ما در فرمول کوکران Z میشود که به راحتی میتوان از روی Z score اقدام به محاسبهی P value نمود. برای راحتی کار فرمول تبدیل Z به P value را در نرمافزار اکسل 2013 تعریف کردهایم.
در پروتکل حاضر که مربوط به بررسی معناداری قبولی دانشجویان است، P فراوانی براساس فرضیهی صفر است (مثلاً نمرهی 10 از 20 میشود فراوانی 5/0)؛ Q نیز همان 1-P است؛ n تعداد سؤالات امتحان است؛ d اختلاف نمرهی دانشجوی مورد نظر از 10 برحسب فراوانی است (مثلاً نمرهی 12 از 20 میشود 6/0 کل نمره و d میشود 5/0-6/0)؛ و در نهایت Z که مجهول ما است و از روی آن P value حساب میشود. در همین مثال، کسب نمرهی 12 در یک آزمون 100 سؤاله در سطح 05/0 معنادار خواهد شد (شکل 2). بر همین اساس کسب نمرهی 8 نیز به معنای مردودی معنادار است. اما در مورد نمرات 8 تا 12 نمیتوان برای قبولی یا مردودی اظهار نظر کرد. بر همین اساس هرچه تعداد سؤالات یک امتحان کم‌تر باشد، برای معناداری فاصلهی بیش‌تری از نمرهی 10 لازم است. در جدول 1 مثالهای دیگر نیز بررسی شدهاند. براساس آن، برای آنکه نمرهی 11 به معنای قبولی معنادار باشد، لازم است تا آزمون مورد نظر بیش از 384 سؤال داشته باشد، و برای نمرهی 12 این عدد حدود 100 سؤال است. اضافه میگردد که بارم تمام سؤالات باید یکسان باشد.
شکل 2: نمونه مثال حل شده در فایل اکسل طراحی شده برای پروتکل
جدول 1: نمونههای حل شده براساس فرمول کوکران (نمره/تعداد سؤال آزمون) (* معنادار در سطع 05/0)
| 385 | 100 | 80 | 40 | 20 | 10 | نمره |
| *050/0 | 317/0 | 371/0 | 527/0 | 654/0 | 751/0 | 11 |
| *000/0 | *045/0 | 073/0 | 205/0 | 371/0 | 527/0 | 12 |
| *000/0 | *002/0 | *007/0 | 057/0 | 179/0 | 342/0 | 13 |
| *000/0 | *000/0 | *000/0 | 011/0 | 073/0 | 205/0 | 14 |
| *000/0 | *000/0 | *000/0 | *001/0 | *025/0 | 113/0 | 15 |
نظام ارزشیابی در کشورهای مختلف بهطور کلی به دو صورت کمی و کیفی است. مطالعات مختلفی در مورد مقایسهی این روشها و نیز میزان رضایت‌مندی دانشجویان صورت گرفته است. اما در هیچکدام از آنها به معناداری و دامنهی تکرارپذیری این ارزشیابیها اشاره نشدهاست. از این رو در پژوهش حاضر به عنوان یک ضرورت به دنبال ارائه روش فوق بودیم.
براساس روش طراحی شده در پژوهش حاضر، دانشجویان در سه گروه قرار میگیرند؛ قبولی معنادار، مردودی معنادار و غیر قابل قضاوت. برای بازه‌ی غیر قابل قضاوت میتوان از واژهی دیگری مثل "مشروط" استفاده نمود. از نقاط قوت این روش میتوان به عدم نیاز به ارفاق نمره جهت کاهش آمار مردودی، اشاره نمود. از محدودیتها و مشکلات این روش نیز میتوان به لزوم زیاد بودن تعداد سؤالات و نیز بلاتکلیفی گروه مشروط اشاره نمود. برای رفع مشکل زیاد بودن تعداد سؤال میتوان cutoff معناداری را براساس تخمین دستی خطای آلفا افزایش داد؛ بدین صورت که خطای آلفا برابر باشد با درصدی از افراد که به روش سابق نمرهی کم‌تر از 10 می‌آورند. برای رفع مشکل بلاتکلیفی گروه مشروط نیز میتوان از روشهای تکمیلی مانند مصاحبه‌ی شفاهی از این دانشجویان برای بررسی صلاحیت گذراندن آن درس استفاده کرد؛ یا این که در هر مقطع تحصیلی برای هر دانشجو سقف مجاز برای تعداد دروس مشروطی درنظر گرفت.
پیشنهاد میشود که از این روش در یک مطالعهی اقدام پژوهی استفاده گردد و از دانشجویان هدف نظرسنجی شود. البته در این مرحله نیازی نیست که این نمرات در کارنامهی دانشجویان اعمال شود؛ بلکه صرفاً یک اقدام پژوهی برای دریافت بازخورد از این برنامه است.
در پایان بدین وسیله مراتب سپاس خود را از مرکز مطالعات و توسعهی آموزش پزشکی دانشگاه علوم پزشکی لرستان اعلام میداریم.
نوع مطالعه: نامه به سردبیر |
موضوع مقاله:
مديريت آموزشي
دریافت: 1397/3/7 | پذیرش: 1397/8/16 | انتشار: 1397/1/26 | انتشار الکترونیک: 1397/1/26
دریافت: 1397/3/7 | پذیرش: 1397/8/16 | انتشار: 1397/1/26 | انتشار الکترونیک: 1397/1/26
ارسال پیام به نویسنده مسئول
| بازنشر اطلاعات | |
 |
این مقاله تحت شرایط Creative Commons Attribution-NonCommercial 4.0 International License قابل بازنشر است. |
