XML English Abstract Print


دانشگاه علوم پزشکی لرستان ، yasin_ahmadi73@yahoo.com
چکیده:   (4010 مشاهده)
در نظام ارزشیابی 20 نمره­ای این ابهام وجود دارد که وقتی یک دانشجو نمره­ی 1/10 یا 9/9 می­گیرد چه قدر قبولی یا مردودی او برای ما معنادار است؟ به عبارت دیگر اگر آزمون تکرار شود، از کجا بدانیم که جای دو دانشجوی قبول و مردود عوض نمی­شود. در این نامه برآن هستیم تا روشی را ارائه کنیم که با استفاده از آن بتوان معناداری قبولی یا مردودی دانشجویان را با استفاده از فرمول کوکران تشخیص داد.
آمار و روش تحقیق نقش بسیار مهمی برای دانشجویان دارد. باید درنظر داشت که آمار و روش تحقیق نه صرفاً برای یادگیری مقاله نویسی است و نه یک هدف برای یک دانشجویی که براساس رشته­ی تحصیلی خود رسالت دیگری دارد، بلکه وسیله­ و ابزارکاری ضروری برای مطالعه، تفسیر و نگاهی عمقی به مقالات و کتب مرجع برای آموزش، تشخیص و درمان دقیق­تر است(1و2). از طرف دیگر، روایی و پایایی از ویژگی­های مهم و ضروری روش­های ارزشیابی است(3). از این رو می­توان از آمار برای ارزشیابی آموزش پزشکی نیز استفاده کرد.
از آن­جایی که در فرمول­های محاسبه­ی حجم نمونه، سه رکن اندازه­ی نمونه، اندازه­ی اثر (effect size) یا حداقل تفاوت بالینی معنادار، و نهایتاً سطح معناداری وجود دارد، فرمول کوکران (شکل 1) هم از این قائده مستثنی نیست.

شکل 1: خلاصه شده­ی فرمول کوکران
 
این فرمول برای تخمین حجم نمونه در مطالعات توصیفی به کار می­رود. تصور اشتباه بر این است که در مطالعات توصیفی گزارش P value بی­معنا است؛ اما در حقیقت چنین نیست. ما در مطالعات توصیفی و مطالعات اقدام پژوهی به دنبال گزارش درصد فراوانی پدیده­ی مورد نظر هستیم. حال این فراوانی مشاهده شده می­شود فرضیه­ی شماره 1 ما. فرضیه­ی صفر درصدی است که قرار است درصد به دست آمده در فرضیه­ی 1 با آن مقایسه شود. برای مثال می‌خواهیم بررسی کنیم که چه میزان از پرتاب­های یک تیم بسکتبال از حلقه رد می­شود. در اینجا فرضیه­ی صفر ما، که از آن به عنوان احتمال ریاضی هم یاد می­شود، مانند پرتاب سکه فراوانی 5/0 است. فرضیه­ی 1 ما، که از آن به عنوان احتمال تجربی هم یاد می­شود، بسته به مهارت اعضای آن تیم متفاوت است. فرض کنیم در یک مطالعه­ی توصیفی برای یک تیم بسکتبال این احتمال را به­طور تجربی 6/0 به دست می­آوریم. اکنون این برای ما مهم است که آیا این برتری 6/0 نسبت به 5/0 معنادار است یا خیر. در ادامه­ی همین مثال، برای ارتقای عملکرد تیم فوق یک برنامه­ی آموزشی در قالب یک اقدام پژوهشی اعمال می­کنیم. سپس در ارزیابی بازخورد آن مشاهده می­کنیم که این عدد به 7/0 رسیده است. برای این که ببینیم آیا موفقیت این برنامه معنادار بوده است یا خیر این بار 7/0 را فرضیه­ی 1 و 6/0 را فرضیه­ی صفر درنظر می­گیریم. در چنین مواردی مجهول ما در فرمول کوکران Z می­شود که به راحتی می­توان از روی Z score اقدام به محاسبه­ی P value نمود. برای راحتی کار فرمول تبدیل Z  به P value را در نرم­افزار اکسل 2013 تعریف کرده­ایم.
در پروتکل حاضر که مربوط به بررسی معناداری قبولی دانشجویان است، P فراوانی براساس فرضیه­ی صفر است (مثلاً نمره­ی 10 از 20 می­شود فراوانی 5/0)؛ Q نیز همان 1-P است؛ n تعداد سؤالات امتحان است؛ d اختلاف نمره­ی دانشجوی مورد نظر از 10 برحسب فراوانی است (مثلاً نمره­ی 12 از 20 می­شود 6/0 کل نمره و d می­شود 5/0-6/0)؛ و در نهایت Z که مجهول ما است و از روی آن P value حساب می­شود. در همین مثال، کسب نمره­ی 12 در یک آزمون 100 سؤاله در سطح 05/0 معنادار خواهد شد (شکل 2). بر همین اساس کسب نمره­ی 8 نیز به معنای مردودی معنادار است. اما در مورد نمرات 8 تا 12 نمی­توان برای قبولی یا مردودی اظهار نظر کرد. بر همین اساس هرچه تعداد سؤالات یک امتحان کم‌تر باشد، برای معناداری فاصله­ی بیش‌تری از نمره­ی 10 لازم است. در جدول 1 مثال­های دیگر نیز بررسی شده­اند. براساس آن، برای آنکه نمره­ی 11 به معنای قبولی معنادار باشد، لازم است تا آزمون مورد نظر بیش از 384 سؤال داشته باشد، و برای نمره­ی 12 این عدد حدود 100 سؤال است. اضافه می­گردد که بارم تمام سؤالات باید یکسان باشد.
 

شکل 2: نمونه مثال حل شده در فایل اکسل طراحی شده برای پروتکل
جدول 1: نمونه­های حل شده براساس فرمول کوکران (نمره/تعداد سؤال آزمون) (* معنادار در سطع 05/0)
385 100 80 40 20 10 نمره
*050/0 317/0 371/0 527/0 654/0 751/0 11
*000/0 *045/0 073/0 205/0 371/0 527/0 12
*000/0 *002/0 *007/0 057/0 179/0 342/0 13
*000/0 *000/0 *000/0 011/0 073/0 205/0 14
*000/0 *000/0 *000/0 *001/0 *025/0 113/0 15
 
نظام ارزشیابی در کشورهای مختلف به­طور کلی به دو صورت کمی و کیفی است. مطالعات مختلفی در مورد مقایسه­ی این روش­ها و نیز میزان رضایت‌مندی دانشجویان صورت گرفته است. اما در هیچ­کدام از آن­ها به معناداری و دامنه­ی تکرارپذیری این ارزشیابی­ها اشاره نشده­است. از این رو در پژوهش حاضر به عنوان یک ضرورت به دنبال ارائه روش فوق بودیم.
براساس روش طراحی شده در پژوهش حاضر، دانشجویان در سه گروه قرار می­گیرند؛ قبولی معنادار، مردودی معنادار و غیر قابل قضاوت. برای بازه‌ی غیر قابل قضاوت می­توان از واژه­ی دیگری مثل "مشروط" استفاده نمود. از نقاط قوت این روش می­توان به عدم نیاز به ارفاق نمره جهت کاهش آمار مردودی، اشاره نمود. از محدودیت­ها و مشکلات این روش نیز می­توان به لزوم زیاد بودن تعداد سؤالات و نیز بلاتکلیفی گروه مشروط اشاره نمود. برای رفع مشکل زیاد بودن تعداد سؤال می­توان cutoff معناداری را براساس تخمین دستی خطای آلفا افزایش داد؛ بدین صورت که خطای آلفا برابر باشد با درصدی از افراد که به روش سابق نمره‌ی کم‌تر از 10 می‌آورند. برای رفع مشکل بلاتکلیفی گروه مشروط نیز می­توان از روش­های تکمیلی مانند مصاحبه‌ی شفاهی از این دانشجویان برای بررسی صلاحیت گذراندن آن درس استفاده کرد؛ یا این که در هر مقطع تحصیلی برای هر دانشجو سقف مجاز برای تعداد دروس مشروطی درنظر گرفت.
پیشنهاد می­شود که از این روش در یک مطالعه­ی اقدام پژوهی استفاده گردد و از دانشجویان هدف نظرسنجی شود. البته در این مرحله نیازی نیست که این نمرات در کارنامه­ی دانشجویان اعمال شود؛ بلکه صرفاً یک اقدام پژوهی برای دریافت بازخورد از این برنامه است.
در پایان بدین وسیله مراتب سپاس خود را از مرکز مطالعات و توسعه­ی آموزش پزشکی دانشگاه علوم پزشکی لرستان اعلام می­داریم.
 
متن کامل [PDF 234 kb]   (1777 دریافت)    
نوع مطالعه: نامه به سردبیر | موضوع مقاله: مديريت آموزشي
دریافت: 1397/3/7 | پذیرش: 1397/8/16 | انتشار: 1397/1/26 | انتشار الکترونیک: 1397/1/26

بازنشر اطلاعات
Creative Commons License این مقاله تحت شرایط Creative Commons Attribution-NonCommercial 4.0 International License قابل بازنشر است.