معلومة

هل المشتتات تخلق التعلم الخاطئ في أسئلة الاختيار من متعدد؟

هل المشتتات تخلق التعلم الخاطئ في أسئلة الاختيار من متعدد؟



We are searching data for your request:

Forums and discussions:
Manuals and reference books:
Data from registers:
Wait the end of the search in all databases.
Upon completion, a link will appear to access the found materials.

أستخدم الاختبارات القصيرة في التدريس ، لكني بدأت أشعر بالقلق من أنها تضر أكثر مما تنفع.

إليكم السبب: لقد تعلمنا جميعًا من "تأثير الاختبار" أن إجراء الاختبار هو جزء من الممارسة التي تؤدي إلى التعلم.

لنفترض أنني أعطي طلابي اختبارًا متعدد الاختيارات ، مباشرة بعد المحاضرة ، لممارستها. ولنفترض أن السؤال يبدو كالتالي:

"من كتب The Blank Slate؟

[] ستيفن بينكر

[] جيسي بينكمان

[] السيد بينك "

قد يتعرف الطالب الذي لم ينتبه كثيرًا في الفصل على الاسم الثاني بشكل غامض ، لذلك يقوم بفحص المربع الأوسط والمضي قدمًا.

هل عزز الطالب الآن الخيار غير الصحيح ، وبالتالي خلق صافي التعلم السلبي؟

وبعد ذلك ، في الجزء الثاني من نفس السؤال:

هل يحدث فرق إذا تم إجراء الاختبار في نفس يوم المحاضرة ، عندما لا تزال المعرفة الجديدة بطلاقة ، أو بعد النوم ، عندما يتم توحيد المعرفة الجديدة (واستبعاد الذكريات الضعيفة)؟

الجزء الثالث: هل يُحدث فرقًا إذا كان الاختبار مكتوبًا على الورق ، وبالتالي لا يقدم أي تعليقات مباشرة ، أو عبر الإنترنت ، ويمكن أن يشير إلى الإجابة الصحيحة؟

لقد بحثت على نطاق واسع في الباحث العلمي من Google ، ولكن لم أجد أي شيء حول هذا الموضوع.


للإجابة على إجابتك الأولية: لا ، لا أعتقد أنها تضر أكثر مما تنفع. تم عرض تأثير الاختبار شاملة لتحسين الدرجات مقارنة بالدراسة التقليدية (على الرغم من الذاكرة طويلة المدى فقط ، انظر (Roediger & Karpicke ، 2006) للحصول على مناقشة شيقة) ، مما يعني ضمناً أنها تفيد أكثر من الأذى. تفترض هذه الدراسة تأثيرًا إيجابيًا شاملاً بدون تغذية راجعة للمتعلمين حول ما إذا كانوا على صواب أو خطأ ، وحيث لا "يتعلم" الطلاب الذين استرجعوا الذاكرة بشكل غير صحيح أو يحتفظوا بها (Kornell، Bjork، & Garcia، 2011). ومع ذلك ، فإن تقديم التغذية الراجعة للمتعلمين بشأن الاستجابات الصحيحة وغير الصحيحة سيزيد من نسبة الاستبقاء حتى بالنسبة للطلاب الذين لم يستردوها بشكل صحيح ، وقد يكون أحد أفضل الطرق لهؤلاء الطلاب للتعلم (كورنيل ، هايز ، وبيورك ، 2009).

الجزء 1: بقدر ما يتعلق الأمر بالتعلم السلبي من اختيار الإجابة ، فإن هذا يتعلق مباشرة بسؤالك الثالث (كما هو مذكور أعلاه). يُفترض أن الطلاب الذين حصلوا على إجابات صحيحة (استرجاع ناجح) يحافظون على الذاكرة بشكل أفضل ، بينما الطلاب الذين لم يحصلوا على إجابات صحيحة (كورنيل وآخرون ، 2011). على الرغم من أن هذا يبدو واضحًا ، تذكر أن معدلات الاسترجاع تنخفض بشكل طبيعي بمرور الوقت (الهدف هو الحفاظ على معدل استرداد مرتفع).

الجزء 2: بكلمة نعم. بالنظر إلى هذا ، فإن كل منهم يقيس أشياء مختلفة (ويجب استخدامه لأغراض مختلفة). أنا شخصياً أستخدم اختبار "ما بعد المحاضرة" باعتباره "تذكرة خروج" (آسف ، خلفية مع طالب جديد في المدرسة الثانوية) للتحقق بسرعة من مكان وجود المفاهيم الخاطئة. تتم مراجعة هذه الاختبارات القصيرة قبل مغادرة الطلاب الفصل من أجل تحديد ومعالجة المفاهيم الخاطئة (التقييم التكويني). لقد اكتشفت أن الانتظار يمكن أن يسمح بإجراء المزيد من الاتصالات (وبالتالي ، استجابات المستوى الأعلى) ، ولكن إذا لم يتم تشفير المادة بشكل صحيح خاطئة يمكن إجراء الاتصالات (تعزيز المعلومات غير الصحيحة).

الجزء الثالث: يُفترض عدم مراجعة الاختبار لإنشاء "تشعب" حيث يتذكر أولئك الذين حصلوا على إجابات صحيحة بشكل أفضل ، وأولئك الذين لم يحصلوا على الإجابات الصحيحة يتناقصون بشكل مطرد (مرة أخرى ، نمط طبيعي في الاسترجاع بمرور الوقت). "تأثير الاختبار" موجود لأن شاملة يُفترض أن الطلاب يقومون بعمل أفضل ، ولكن مرة أخرى ، سيكون هناك انقسام في نمو الطلاب بين أولئك الذين يتذكرون والذين لم يتذكروا (Kornell et al. ، 2011). من المفترض أن تساعد مراجعة الاختبار فورًا (إذا كانت الورقة البحثية ، راجع الإجابات مباشرة بعد الاختبار!) الكل الطلاب ، بغض النظر عما إذا كانوا قد حصلوا في البداية على الإجابة الصحيحة أم لا ، وبالتالي ستكون الطريقة الموصى بها لتحسين الاحتفاظ بالمعرفة لدى الطلاب (كورنيل وآخرون ، 2009).

للتلخيص: المراجعة بعد إجراء الاختبارات القصيرة تشبه إلى حد كبير تأثير "الدراسة" (حيث يكون أولئك الذين حصلوا على حق و يمكن أن تتعلم الإجابات الخاطئة) ، بينما يُفترض أن الاختبارات القصيرة بدون مراجعة لتقسيم التعلم (أولئك الذين يتذكرون بشكل صحيح يحتفظون به ، وأولئك الذين يفشلون في التذكر بشكل صحيح لا يحتفظون به). على حد سواء يمكن مساعدة المجموعات من خلال الاختبارات ومراجعة الإجابات.

مراجع

كورنيل ، إن ، بجورك ، آر أ ، وجارسيا ، إم إيه (2011). لماذا يبدو أن الاختبارات تمنع النسيان: نموذج التشعب القائم على التوزيع. مجلة الذاكرة واللغة ، 65 (2) ، 85-97. دوى: 10.1016 / j.jml.2011.04.002

كورنيل ، إن ، هايز ، إم جيه ، وبيورك ، آر إيه (2009). محاولات الاسترجاع غير الناجحة تعزز التعلم اللاحق. مجلة علم النفس التجريبي. التعلم والذاكرة والإدراك ، 35 (4) ، 989-998. دوى: 10.1037 / a0015729

روديجر ، إتش إل ، وكاربيك ، جي دي (2006). التعلم المعزز بالاختبار: يؤدي إجراء اختبارات الذاكرة إلى تحسين الاستبقاء على المدى الطويل. علم النفس ، 17 (3) ، 249-255. دوى: 10.1111 / j.1467-9280.2006.01693.x


ما لا يجب فعله عند كتابة أسئلة: نصائح عامة

الآن دعونا نلقي & # 8217s نظرة على بعض الأشياء التي يجب عليك & # 8217T القيام بها عند كتابة الأسئلة للاختبارات.

لا تكتب أسئلة خدعة

لا تكتب أسئلة خدعة.

أنت & # 8217 تنشئ التقييمات وتكتب عناصر التقييم (& # 8220questions & # 8221) لأنك تريد معرفة ما إذا كان الموظفون يعرفون شيئًا ما. على وجه الخصوص ، إذا كانوا يعرفون كيفية القيام بشيء ما عليهم القيام به في الوظيفة.

أنت & # 8217 لا تكتب عنصر اختبار لمعرفة ما إذا كان الموظفون ماهرين بشكل خاص في إجراء الاختبارات أو التعرف على الأسئلة الخادعة.

لذا ، إذا كان هدفك هو تحديد ما إذا كان الموظفون يعرفون شيئًا ما ، وليس معرفة مدى ذكاءهم في استنشاق الأسئلة الخادعة ، فلا تكتب أسئلة خادعة. مهما كانت مغرية.

لا تركز على الأسئلة التي تتطلب الاعتراف

يمكنك كتابة سؤال متعدد الخيارات (أو أي نوع آخر من الأسئلة) بحيث يكون كل ما يتعين على الموظف فعله هو التعرف على الإجابة الصحيحة (لأنها مكتوبة هناك في خيارات الإجابة).

في حين أن هذا النوع من التعرف قد يساعد في تقييم التعلم وحتى دعم التعلم إلى حد ما ، فإن الاختبارات التي تتطلب من العامل أن يتذكر بنشاط (من & # 8220scratch ، & # 8221 إذا صح التعبير) أو تطبيق المعلومات أفضل.

لا تكتب أسئلة تختبر فقط الاستذكار أو الاعتراف

في حين أن الاستدعاء له فوائده (اقرأ عن تأثير الاختبار لمعرفة المزيد عن ذلك) ، فإن التطبيق أفضل.

تجنب كتابة الأسئلة التي تركز فقط أو أكثر من اللازم على الاستدعاء / الاعتراف. حاول تضمين الأسئلة التي تتطلب التطبيق.

(لمزيد من السياق حول الاستدعاء / التعرف والتطبيق وأشكال التعلم الأخرى ، راجع هذا المقال عن تصنيف Bloom & # 8217 و / أو جزء من مقابلتنا مع الدكتور Will Thalheimer عندما يتحدث عن الاسترجاع والاستدعاء والاعتراف).

لا تساعد الموظفين في تحديد الإجابة الصحيحة بناءً على نصائح من القواعد النحوية

يمكنك في بعض الأحيان أن تجعل من السهل على الموظف أن يجيب على سؤال بشكل صحيح فقط باستخدام القواعد النحوية التي تستخدمها.

على سبيل المثال ، إذا تمت صياغة السؤال بطريقة فردية ، وكانت جميع خيارات الإجابة بصيغة الجمع باستثناء خيار إجابة واحد يكون & # 8217s مفردًا ، فمن المحتمل أن يكون خيار الإجابة المفرد هذا هو الإجابة الصحيحة.

أو ، على سبيل المثال آخر ، إذا انتهى سؤالك بـ & # 8220an & # 8221 وخيارات الإجابة الأربعة تبدأ بـ & # 8220cat ، & # 8221 & # 8220dog ، & # 8221 & # 8220leopard ، & # 8221 و & # 8220otter ، & # 8221 سيعرف الموظفون أن الإجابة الصحيحة هي & # 8220an otter. & # 8221

راجع أسئلتك للتأكد من أنك & # 8217re لا تميل بيدك وتسهل على الموظفين الذين لا يعرفون الإجابة الصحيحة لاستخدام النصائح النحوية لتحديد الإجابة الصحيحة.

لا تكتب & # 8217t أسئلة تقدم إجابات لأسئلة أخرى

حاول تجنب كتابة سؤال يتضمن معلومات تسهل على الموظفين الإجابة على سؤال ثان.

لا تكتب سؤالاً لأنه & # 8217s & # 8220 سهل & # 8221 الكتابة أو التقدير

إذا كنت تريد إنشاء عناصر تقييم فعالة (& # 8220questions & # 8221) ، فافعل ذلك. لا تأخذ الطريق السهل وقم بإنشاء تقييم لا يفعل ما تريده أن يفعله.

كلنا نتعب في وقت ما أحصل عليه. قد يكون من المغري إنشاء سؤال بتنسيق معين لمجرد أنه أسهل في الكتابة. أو ، التفكير في المستقبل ، لأنه من الأسهل تقييم / تقدير الدرجات.

لكن لا تفعل ذلك لا تستسلم للحظات الأضعف. كن نجمًا تدريبيًا واكتب أفضل سؤال يمكنك & # 8211one الذي يقيم حقًا ما إذا كان الموظفون يفهمون المحتوى أم لا.

لا تكتب أسئلة مصاغة بسلبية مزدوجة & # 8217t & # 8211 وحاول تجنب الصيغ السلبية أيضًا

تجنب كتابة الأسئلة التي تتم صياغتها بنفي مزدوج. على سبيل المثال ، السؤال الذي يطرح & # 8220 أي مما يلي ليس غير ضروري؟ & # 8221 له سالب مزدوج (& # 8220not & # 8221 و & # 8220 غير ضروري & # 8221) ويمكن أن يكون محيرًا. أعد كتابة سؤال مثل هذا بنشاط ، إلى شيء مثل & # 8220 أي مما يلي ضروري؟ & # 8221

يجب دائمًا تجنب السلبيات المزدوجة ، كما قلنا للتو. لكن بالإضافة إلى ذلك ، قد ترغب في توخي الحذر بشأن الأسئلة التي تتضمن السلبيات من أي نوع ، ومعرفة ما إذا كان يمكنك إعادة كتابتها بطريقة أكثر نشاطًا. على سبيل المثال ، & # 8220 ما هي الأدوات التالية التي يجب ألا تكون في منطقة عمل ساخنة؟ & # 8221 يمكن إعادة كتابتها بنشاط كـ & # 8220 أي من الأدوات التالية محظور في منطقة العمل الساخنة؟ & # 8221


أفضل الممارسات لإنشاء أسئلة الاختيار من متعدد

عند التدريس عبر الإنترنت ، غالبًا ما يلجأ المدرسون إلى اختبارات واختبارات متعددة الخيارات لتقييم تعلم الطلاب. يوفر هذا الخيار العديد من الفوائد ، بما في ذلك الملاحظات الفورية للطلاب وتصنيف فعال لأعضاء هيئة التدريس. هناك بعض نقاط القوة والقيود الرئيسية (Zimmaro ، 2010) التي يجب وضعها في الاعتبار عند كتابة أسئلة الاختيار من متعدد:

  • يمكن قياس عينة واسعة من الإنجاز
  • يمكن أن يكشف تحليل العناصر عن صعوبة كل عنصر ، إلى جانب مدى التمييز في التقييم بين الطلاب الأقوياء والطلاب الأضعف في الفصل
  • يمكن أن تغطي الكثير من المواد بكفاءة عالية (حوالي عنصر واحد في الدقيقة من وقت الاختبار)
  • يستغرق إنشاء عناصر قوية وقتًا طويلاً
  • يستخدم حل المشكلات في العالم الحقيقي عملية مختلفة (اقتراح حل مقابل اختيار حل من مجموعة من البدائل)
  • يمكنه اختبار المعلومات الواقعية ، لكنه يفشل في اختبار مستويات أعلى من التفكير المعرفي

يتضمن إنشاء أسئلة فعالة متعددة الخيارات عرض الدورة التدريبية بشكل شامل. من المهم مراعاة جميع المكونات الرئيسية للدورة ، بما في ذلك أهداف التعلم والتعليم والتقييم والتقييم (Zimmaro ، 2010). إذا نقلت التعليمات أهمية الأهداف المصممة جيدًا ، وقام المعلم بتقييم جودة أداء الطلاب بعناية ، فسيكون التقييم تجربة إيجابية وناجحة.

قبل كتابة العناصر ، قم بإنشاء مخطط اختبار (Zimmaro ، 2010) للتأكد من أنك قد غطت الموضوعات والأهداف المناسبة من خلال مستويات مختلفة من تصنيف بلوم. مثال أدناه:

الموضوع أ: الواقعية الأمريكية الموضوع ب: الهجاء الموضوع ج: الحداثة الأمريكية الموضوع د: الأدب المعاصر المجموع
تذكر 1 2 1 1 5 (12.5%)
تفهم 2 1 2 2 7 (17.5%)
تطبيق 4 4 3 4 15 (37.5%)
حلل 3 2 3 2 10 (25%)
تقييم 1 1 2 (5%)
إنشاء 1 1 (2.5%)
10 (25%) 10 (25%) 10 (25%) 10 (25%) 40*

* ملاحظة: هذا المثال يعتمد على اختبار مكون من 40 بندًا

تلميحات للتحضير لكتابة العناصر

  • قم بإنشاء عناصر اختبار أثناء تحضير دروس الفصل
  • قم بتدوين الأسئلة التي يطرحها الطلاب بشكل متكرر أثناء الفصل
  • قم بتدوين المفاهيم الخاطئة الشائعة التي يقوم بها الطلاب أثناء الفصل أو في الواجبات المنزلية
  • ادعُ الطلاب لإرسال العناصر في نهاية الفصل أو في أوقات أخرى (Zimmaro ، 2010)
  • عندما يركز هدف التعلم على التعلم العالي ، يكون من الأسهل بكثير كتابة أسئلة التقييم المقابلة التي تعكس مهارات التفكير العليا
  • كتابة العنصر أمر تكراري توقع مراجعة أسئلتك عدة مرات (Theide & amp Goodman ، 2010)
  • عند استخدام عناصر نوع التحديد (الاختيار من متعدد ، والصواب والخطأ ، والمطابقة ، وتحديد كل ما ينطبق) ، فإن الطريقة الفعالة هي بدء كل عنصر كعنصر متعدد الخيارات والتبديل إلى نوع عنصر آخر إذا لزم الأمر
  • قدم مواقف عملية أو واقعية للطلاب
  • قدم للطالب رسمًا تخطيطيًا للمعدات واطلب التطبيق أو التحليل أو التقييم
  • قدم الاقتباسات الفعلية المأخوذة من الأخبار أو المصادر المنشورة الأخرى واطلب تفسير أو تقييم هذه الاقتباسات
  • استخدم المواد التصويرية التي تتطلب من الطلاب تطبيق المبادئ والمفاهيم
  • استخدم المخططات والجداول والأشكال التي تتطلب تفسيرًا
  • تجنب إعطاء أدلة نحوية للإجابة الصحيحة ("a vs. an" ، المفرد مقابل الجمع ، إلخ.)
  • تجنب استخدام "كل هذه" أو "لا شيء من هذه" أو "كلاهما أ و ب" كخيارات إجابة (زيمارو ، 2010)
  • استخدم عوامل التشتيت المعقولة & # 8211 خيارات الكتابة بحيث تكون متجانسة في المحتوى (بوثيل ، 2001)
  • قم بإعداد الطلاب للاختبار من خلال تحديد الأهداف أو تقديم أسئلة الدراسة
  • قم بتقييم العناصر ، انظر إلى مدى جودة عمل المشتتات ، وافحص أداء الطلاب ذوي الأداء العالي والمنخفض

يقدم Gronlund (1998) أمثلة مفيدة لأسئلة الاختبار بناءً على تصنيف Bloom (تم تعديل الأمثلة لتعكس تصنيف Bloom المنقح):


هل المشتتات تخلق التعلم الخاطئ في أسئلة الاختيار من متعدد؟ - علم النفس

الاختيار من متعدد والاختبارات الموضوعية الأخرى

ورقة تلميح
اختيار متعدد والاختبارات الهدف الأخرى

بيانات عامة حول الاختبارات الموضوعية

  1. تتطلب الاختبارات الموضوعية الاعتراف بالموضوع واسترجاعه.
  2. تتنوع الأشكال: أسئلة حول الحقيقة ، وإكمال الجملة ، والصواب والخطأ ، والقياس ، والاختيار من متعدد ، والمطابقة.
  3. إنهم يميلون إلى تغطية مواد أكثر من اختبارات المقالات.
  4. لديهم إجابة واحدة ، وواحدة فقط ، صحيحة لكل سؤال.
  5. قد تتطلب إعدادًا صارمًا مثل الحفظ.


قبل الرد

  1. استمع بعناية للتوجيهات الشفهية.
  2. لاحظ ما إذا كانت هناك عقوبة للتخمين.
  3. إلقاء نظرة سريعة خلال الاختبار بأكمله.
  4. لاحظ قيم النقاط في الأقسام المختلفة.
  5. خصص وقتك.
  6. اقرأ التعليمات واتبعها.
  7. اكتب اسمك في كل صفحة من صفحات الاختبار.


أثناء الرد

  1. اقرأ كل التعليمات بعناية.
  2. اقرأ كل سؤال بعناية.
  3. إذا كان مسموحًا بذلك ، ضع خطًا تحت الكلمات الرئيسية.
  4. أجب على الأسئلة السهلة أولاً.
  5. تخطي الأسئلة التي تحيرك. ضع علامة عليهم للعودة لاحقًا.
  6. إذا كان لديك وقت في النهاية ، فارجع إلى الأسئلة التي حددتها.
  7. لا ترجع إلى كل سؤال. أعد قراءة فقط تلك التي لم تكن متأكدًا منها.
  8. لا تتردد في تخمين نفسك. قم بتغيير إجابة فقط إذا كنت متأكدًا تمامًا من أن إجابتك الأولى كانت خاطئة. من المرجح أن تكون إجابتك الأولى صحيحة.
  9. تأكد من إجابتك على جميع الأسئلة.
  10. إذا لم تكن لديك فكرة عن الإجابة ، خمن!


استراتيجيات لأخذ الامتحانات الهدف

استعد جيدًا لجميع اختباراتك. لا يوجد بديل حقيقي للدراسة. ابدأ الدراسة للامتحان النهائي في اليوم الأول من الفصل.

استخدم مجموعة متنوعة من استراتيجيات الدراسة. تعرف على أسلوب التعلم المفضل لديك واستفد منه!

لا تولي اهتماما للطلاب الذين ينهون في وقت مبكر. لا تفترض تلقائيًا أن الطلاب الذين أنهوا الاختبار مبكرًا قاموا بعمل جيد (غالبًا ما يغادرون مبكرًا لأنهم لم يدرسوا بشكل كافٍ!)

خطط لتكون آخر من يغادر. بهذه الطريقة يمكنك الاسترخاء والاستفادة القصوى من وقتك.

تجاهل ما يقوله الطلاب الآخرون قبل الامتحان وبعده.

ضع في اعتبارك جميع البدائل في سؤال الاختيار من متعدد قبل اتخاذ قرارك.

خمن دائمًا إذا لم تكن هناك عقوبة للتخمين.

لا تخمن ما إذا كانت هناك عقوبة للتخمين وليس لديك أي أساس لاتخاذ قرار جيد.

تخلص من الخيارات المعروفة بأنها غير صحيحة واختر من بين الخيارات المتبقية.

ابحث عن المعلومات في عناصر الاختبار التي ستساعدك في الإجابة على أسئلة أخرى.

انتبه جيدًا للكلمات الرئيسية في اختبارات True-False.

أ. الكلمات المغلقة (مثل أبدا, فقط, دائما, الكل, لا أحد، و عظم) غالبًا (ولكن ليس دائمًا) مؤشرات على بيان خاطئ لأنها تقيد الاحتمالات.

ب. افتح الكلمات (مثل عادة, في كثير من الأحيان, خاصة, قد، و عموما) غالبًا (ولكن ليس دائمًا) في العبارات الصحيحة.

خطوات تذكر

لمساعدتك في الحصول على أعلى نتيجة ممكنة في جميع الاختبارات ، قمنا بوضع خطة هجوم تسمى SCORER. يمثل كل حرف في الكلمة قاعدة مهمة في إجراء الاختبار. يعتمد برنامج SCORER على خبرة العديد من المدرسين والطلاب وعلى نتائج الأبحاث - قد يعمل من أجلك!

س - حدد وقتك.

ج - كلمات دليل تساعد.

ا - حذف الأسئلة الصعبة.

ر - اقرأ بعناية.

ه - تقدير إجاباتك.

ر - راجع عملك.

S - يذكرك الحرف الأول في SCORER بجدولة وقتك.

ضع في اعتبارك الاختبار ككل. كم طوله؟ كم عدد الأقسام؟ كم عدد الأسئلة؟ هل توجد أقسام أو أسئلة سهلة أو صعبة للغاية؟ قدر الوقت اللازم لكل قسم تقريبًا. حدد وقتك.

على سبيل المثال ، في اختبار مدته 50 دقيقة ويحتوي على 20 سؤالًا ، يمكنك قضاء حوالي 50 مقسومة على 20 أو 21 دقيقة لكل سؤال. إذا بدأت في الساعة 9 صباحًا ، يجب أن تنتهي عند الثلث بحلول الساعة 9:17 في منتصف الطريق بحلول الساعة 9:25 من العمل على السؤال 16 بحلول الساعة 9:40. إذا تأخرت كثيرًا عن هذه الأوقات ، فسوف ينفد الوقت قبل الانتهاء من الاختبار.

C - يذكرك الحرف الثاني في SCORER بمراقبة CLUE WORDS.

يحتوي كل سؤال تقريبًا على أدلة مدمجة لما هو مطلوب. في اختبار الصواب والخطأ ، يجب على المدرب وضع أسئلة صحيحة تمامًا أو خاطئة تمامًا. إذا سأل: "طفولة غير سعيدة ينتج عنها شخص بالغ عصبي. (صحيح أم خطأ؟) ،" لديه سؤال لا يمكنه تقديره. كلما زادت معرفتك بعلم النفس ، زادت صعوبة الإجابة عن هذا السؤال. هذا صحيح أحيانًا ، وأحيانًا لا يكون: صحيحًا لبعض الناس ، وخاطئًا للآخرين.

"إن الطفولة غير السعيدة تنتج دائمًا شخصًا بالغًا عصابيًا."
ضد.
"الطفولة غير السعيدة لا تنتج أبدًا بالغًا عصابيًا."
ضد.
"الطفولة غير السعيدة ينتج عنها أحيانًا شخص بالغ عصبي".

من الواضح أن الأولين خاطئين والأخير صحيح بشكل واضح. تسمى الكلمات دائمًا ، أبدًا ، وأحيانًا كلمات دليل.

"كل الرجال أطول من كل النساء."
"بعض الرجال أطول من النساء."
"الرجال ليسوا أطول من النساء".
"الرجال عادة أطول من النساء."
"الرجال في بعض الأحيان أطول من النساء."

الإجابات: خطأ ، صحيح ، خطأ ، صحيح ، صحيح

الكلمات المفتاحية كلها ، بعضها ، أبدا ، عادة ، في بعض الأحيان. هذه الكلمات هي مفتاح للإجابة على أسئلة الاختبار الموضوعية.

بعض الكلمات الرئيسية مثل الكل ، كل ، لا شيء ، بالضبط ، دائمًا ، ولا تشير أبدًا إلى أن العبارة صحيحة تمامًا. الاستثناءات غير مسموح بها. إذا ظهرت في بيان يجب أن يكون صحيحًا في كل حالة ليكون صحيحًا على الإطلاق. على سبيل المثال:

"كل المربعات لها أربعة جوانب متساوية."
(هذا تعريف.)

"كل حشرة لها ستة أرجل".
(إذا كانت تحتوي على أكثر من ستة أو أقل ، فهي ليست حشرة).

"السياسيون غير أمناء على الدوام".
(هذا يعني أنه لم يكن هناك سياسي نزيه على الإطلاق. لسنا متأكدين ، لكننا نعتقد أن هذا غير صحيح).

الكلمات الرئيسية الأخرى مثل كثير ، معظم ، بعض ، عادة ، قليل ، أو في كثير من الأحيان هي عوامل محددة. إنها تشير إلى نطاق محدود من الحقيقة.

"بعض التفاحات خضراء."
(بالتأكيد ، بعض التفاح أصفر ، وردي ، وحتى أحمر.)

كل الكلمات الرئيسية هي أضواء حمراء للمتقدمين للاختبار. عندما ترى واحدة ، توقف وتعرف على ما تخبرك به.

O - يذكرك الحرف الثالث في SCORER بحذف الأسئلة الصعبة.

الاختبار ليس نوع المرض شبه المميت الذي تقع فيه ، بل هو معركة يتم التخطيط لها وخوضها وكسبها. يمكنك زيادة حجم العدو ، والنظر إلى التضاريس ، والتحقق من مدفعيته ، وتطوير استراتيجيتك ، والهجوم في المكان الذي لديك فيه أفضل فرصة للنجاح. تنص القاعدة 0 في SCORER على أنه للحصول على درجة عالية في الاختبارات ، يجب أن تجد أسهل الأسئلة والإجابة عليها أولاً. حذف أو تأجيل أكثر صعوبة في وقت لاحق.

إجراءات الامتحان الموضوعي هي كما يلي:

  1. تحرك بسرعة خلال الاختبار.
  2. عندما تجد سؤالاً سهلاً أو واحدًا تكون متأكدًا منه ، أجب عنه.
  3. حذف الصعوبة في هذا التمريرة الأولى.
  4. عند تخطي سؤال ما ، ضع علامة في الهامش.
    (لا تستخدم قلم رصاص أو قلم أحمر. فقد يتم الخلط بين علاماتك وعلامات ممهد الصفوف).
  5. استمر في التحرك. لا تمسح أبدا. لا تتوانى. قم بتدوين ملاحظات موجزة في الهامش لاستخدامها لاحقًا إذا احتجت إلى ذلك.
  6. عندما تنتهي من المهام السهلة ارجع إلى أصحاب العلامات وحاول مرة أخرى.
  7. ضع علامة مرة أخرى على تلك الإجابات التي ما زلت غير متأكد منها.
  8. في مراجعتك (هذه هي آخر لعبة R على SCORER) ، ستراجع جميع الأسئلة إذا سمح الوقت بذلك.


R - يذكرك الحرف الرابع من SCORER بالقراءة بعناية.

  1. كما أوضحنا بالفعل ، من المهم جدًا أن تقرأ التعليمات بعناية قبل أن تبدأ. من المهم أيضًا أن تقرأ كل سؤال بالكامل وبعناية.
  2. اقرأ كل الأسئلة. كثير من الطلاب ، بسبب إهمالهم أو اندفاعهم للوقت ، يقرؤون جزءًا فقط من السؤال ويجيبون عليه على أساس ذلك الجزء. على سبيل المثال ، ضع في اعتبارك العبارة "قرارات المحكمة العليا فعالة جدًا في التأثير على المواقف". إذا كنت لا توافق على بعض قرارات المحكمة العليا ، فيمكنك وضع علامة كاذبة عليها بعد قراءة الكلمات الست الأولى. عالم السياسة يعرف أن هذا صحيح. إنه لا يسألك عما إذا كانت المحكمة تقوم بعمل جيد ، فقط ما هي آثار قراراتها.
  3. اقرأ السؤال كما هو. احرص على تفسير السؤال بالشكل الذي قصده المدرب. لا تدع تحيزك أو توقعك يجذبك إلى قراءة خاطئة. على سبيل المثال ، العبارة "ذات مرة أمريكي ، دائمًا ما تكون أمريكية". قد يكون مؤكدًا من قبل شخص وطني خارق يعتقد أنه يجب أن يكون صحيحًا. من الناحية القانونية ، هذا ليس صحيحًا.
  4. اقرأها بشكل منطقي. إذا كانت العبارة تتكون من عدة أجزاء ، فيجب أن تكون جميع الأجزاء صحيحة إذا كانت العبارة صحيحة. وجاء في البيان أن "جورج واشنطن انتخب رئيسا لأنه كان نجم سينمائي مشهور". هو زائف. (ليس في عام 1776. اليوم قد يكون ذلك ممكنًا). العبارة ، "غاز الكلور غاز مخضر ، سام ، كريه الرائحة ، نادر جدًا يستخدم في تنقية المياه" ، عبارة خاطئة. (إنه ليس نادرًا).


E - يذكرك E في SCORER بتقدير.

قد لا يعترف مدرسك بذلك مطلقًا ، ولكن يمكنك قطع شوط طويل في اختبار موضوعي من خلال التخمين.

في معظم اختبارات الصواب والخطأ أو الاختيار من متعدد ، تكون النتيجة النهائية هي ببساطة الرقم الذي تجيب عليه بشكل صحيح. يتم تجاهل الإجابات الخاطئة. لا توجد عقوبة للتخمين. في بعض الاختبارات ، قد يتم خصم نقاط من درجاتك للإجابات الخاطئة. تأكد من أنك تعرف كيف سيتم تسجيل الاختبار. إذا لم توضح إرشادات الاختبار الأمر تمامًا ، فاسأل مدرسك.

  1. إذا لم تكن هناك عقوبة للتخمين ، فتأكد من الإجابة على كل سؤال حتى لو كان عليك التخمين.
  2. إذا كان لديك متسع من الوقت ، فتابع كما أوضحنا بالفعل: حذف أو تأجيل الأسئلة الصعبة ، والإجابة على الأسئلة السهلة أولاً ، والعودة إلى الأسئلة الصعبة لاحقًا. خمن على أي شيء لا تعرفه. (لكن كن حذرًا. قد ينزعج مدرسك إذا بدأت في قلب قطعة نقدية وتصرخ "رؤوس" و "ذيول" أثناء الامتحان.)
  3. إذا كان الاختبار طويلًا وضغطت على الوقت ، فأجب عن الأسئلة السهلة ، وخمن الاختبارات الصعبة.
  4. إذا تمت معاقبة التخمين ، فلا تخمن في أسئلة الصواب والخطأ وقم بتخمين متعلم بشأن أسئلة الاختيار من متعدد فقط إذا كان بإمكانك تضييق الاحتمالات إلى اثنين. خمن عند الانتهاء أو ملء الأسئلة إذا كان لديك أي فكرة عن ماهية الإجابة. قد يكسب جزء من الإجابة الصحيحة بعض الائتمان.
  5. "الاستدلال" هو جزء مهم من إجراء الاختبار.


R - الحرف الأخير في SCORER هو تذكير لمراجعة عملك.

  1. استخدم كل دقيقة متاحة لك. أي شخص يغادر غرفة الاختبار مبكرًا هو إما أحمق جدًا أو واثق جدًا من نفسه. راجع كل ما قمت به.
  2. ارجع إلى الأسئلة الصعبة التي تم التحقق منها مرتين. نعيد قراءتها. ابحث عن الكلمات الدالة. ابحث عن تلميحات جديدة. ثم انتقل إلى الأسئلة المحددة وأخيراً إلى الأسئلة غير المميزة إذا كان لا يزال هناك متسع من الوقت.
  3. لا تكن حريصًا جدًا على تغيير الإجابات. التغيير فقط إذا كان لديك سبب وجيه للتغيير.
  4. كن على يقين أنك قد فكرت في كل الأسئلة.

من الأهمية بمكان بناء معرفتك وفهمك للموضوع من خلال الدراسة المنهجية والقراءة والعمل في الفصل. تم تصميم SCORER لمساعدتك على أن تفعل أفضل ما لديك مع ما تعرفه.

المزيد عن اختبارات الاختيار من متعدد

فيما يلي استراتيجيات محددة إضافية يمكن استخدامها عند إجراء اختبارات الاختيار من متعدد:

هناك ثلاثة أسباب رئيسية لظهور أسئلة الاختيار من متعدد في العديد من اختبارات الكلية.

  • يمكن استخدامها لاختبار جميع جوانب الطلاب والمعرفة وقدرتهم على التفكير بالمعلومات التي تعلموها.
  • إذا كان الطلاب يجدون صعوبة في التعبير عن أفكارهم في الكتابة ، فلن تؤدي القدرة الضعيفة على الكتابة إلى خفض درجاتهم في اختبارات الاختيار من متعدد.
  • عندما يتم تسجيل الإجابات في ورقة الإجابة ، يكون من السهل تقدير اختبارات الاختيار من متعدد.

بسبب هذه المزايا ، سوف تجيب على العديد من أسئلة الاختيار من متعدد في الاختبارات التي تجريها خلال مسيرتك الجامعية.

ينبع والخيارات والمشتتات

عادةً ما تكون أسئلة الاختيار من متعدد إما عبارات غير كاملة متبوعة بالطرق المحتملة التي يمكن بها إكمال البيانات أو تكون أسئلة متبوعة بإجابات محتملة. السؤال التالي عبارة عن بيان غير مكتمل يتبعه الطرق الممكنة لإكمال البيان.

في هذا البلد ، تقع المسؤولية القانونية النهائية عن تعليم الأطفال على:

أ. الآباء.
ب. تنص على.
ج. الحكومة الاتحادية.
د. مجالس المدارس المحلية.

الجزء الأول من سؤال الاختيار من متعدد يسمى الجذع. أصل المثال أعلاه هو:

"في هذا البلد ، تقع المسؤولية القانونية النهائية عن تعليم الأطفال"

تسمى الاختيارات المقدمة للإجابات بالخيارات. هذه هي الخيارات في المثال:

ينص الآباء على مجالس المدارس المحلية التابعة للحكومة الفيدرالية

تتم كتابة الخيارات بحيث يكون أحدها هو الإجابة الصحيحة والآخرون مشتتون. الإجابة الصحيحة على هذا السؤال هي أن الخيارات (أ) و (ج) و (د) مشتتات للانتباه. من المفترض أن يتم اختيار الإجابات الصحيحة من قبل الطلاب الذين يعرفون الإجابات الصحيحة. من المفترض أن يشتت انتباه الطلاب الآخرين وأن يختاروا أحد الخيارات الأخرى - أحد الخيارات التي تشتت الانتباه.

تتمثل الإستراتيجية الأساسية للإجابة على سؤال متعدد الخيارات في التخلص من عوامل التشتيت وتحديد الخيار الذي لا يشتت الانتباه كإجابة صحيحة. تتمثل إحدى طرق تحديد عوامل التشتيت في تحليل سؤال متعدد الخيارات كما لو كان عبارة عن سلسلة من أسئلة الصواب والخطأ. يمكن تحليل الأسئلة التالية حول التاريخ الأمريكي بهذه الطريقة.

كانت مراكز اندفاعات الذهب المبكرة في الحالات الحالية:

أ. أوكلاهوما وتكساس.
ب. كاليفورنيا ونيو مكسيكو.
ج. كانساس ونبراسكا.
د. نيفادا وكولورادو.

هذا السؤال ، مثل معظم أسئلة الاختيار من متعدد ، هو في الواقع سلسلة من أسئلة الصواب والخطأ ، واحدة منها فقط صحيحة. جميع الخيارات خاطئة باستثناء د.

عندما تجيب على سؤال متعدد الخيارات ، أشر بعلامة X أو علامة اختيار إلى أن الخيارات التي تقرر أنها عوامل تشتيت الانتباه. على سبيل المثال:

كاليفورنيا ونيو مكسيكو.

في هذا المثال ، قرر الطالب أن الخيار (أ) والخيار (ج) من عوامل التشتيت. سيقوم في النهاية بشطب الخيار "ب" ويقرر أن الخيار "د" صحيح ، أو سيحذف الخيار "د" ويقرر أن الخيار "ب" صحيح. الجواب الصحيح هو الخيار د.

قد تتمكن في بعض الأحيان من تحديد الإجابة الصحيحة لسؤال متعدد الخيارات باستخدام الفطرة السليمة والمنطق السليم والخبرة التي مررت بها والمعلومات التي تعرفها. على سبيل المثال ، نظرًا لأنك كنت تعرف أو عرفت العديد من المراهقين الذكور ، فربما يمكنك استخدام تجربتك للإجابة على السؤال التالي بشكل صحيح.

أي مما يلي ليس سمة جنسية ثانوية للمراهقين الذكور العاديين؟

أ. اصواتهم تتعمق.
ب. ينمو شعر الوجه.
ج. تزداد دهونهم تحت الجلد.
د. تتطور عضلاتهم بشكل ملحوظ.

حتى إذا كنت لا تعرف ما هي السمة الجنسية الثانوية ، فأنت تعلم أن الخيارات أ ، ب ، د توضح حقائق عن المراهقين الذكور. لذلك ، قد تستنتج أن الخيار (ج) لا يذكر حقيقة عن الشباب. الخيار ج هو الإجابة الصحيحة التي يصفها للمراهقات.

قد تعرف أحيانًا معلومات ستساعدك على اختيار إجابة صحيحة. على سبيل المثال ، قد تعلم أن كلمة الجوهر تشير إلى "ما هو داخل". إذا كنت تعرف معنى الجوهر ، فيجب أن تكون قادرًا على الإجابة على السؤال التالي بشكل صحيح.

أي مما يلي هو مثال على مكافأة جوهرية؟

أ. غذاء
ب. مال
ج. مديح
د. الموافقة الذاتية

إذا كنت تعرف معنى حقيقيعليك تحديد الخيار (د) للإجابة الصحيحة. الموافقة الذاتية هي مكافأة جوهرية - فهي تأتي من داخل الشخص. من ناحية أخرى ، يعد الطعام والمال والثناء مكافآت خارجية - فهي تأتي من خارج الشخص.

ملخص لأسئلة الاختيار من متعدد

عندما تجيب على سؤال متعدد الخيارات:

1. اشطب المشتتات وحدد الخيار الذي لا يشتت الانتباه كإجابة صحيحة.

2. استخدم الحس السليم ، والتفكير المنطقي السليم ، والخبرات التي مررت بها ، والمعلومات التي تعرفها لتحديد الإجابات الصحيحة.

عند الضرورة ، حاول أن تخمن أفضل ما لديك:

على الرغم من أنه لا يمكن تطبيق تقنيات محددة على جميع اختبارات الاختيار من متعدد ، فإن الوسائل التالية كثيرًا ما تكون وسيلة للحصول على نقاط من الأسئلة التي لا تعرف إجاباتها حقًا.

من حين لآخر ، يتجاهل المختبرون بعض العيوب الموضحة أدناه. من المهم استخدام الأساليب التالية بعناية لتحديد ما إذا كانت قابلة للتطبيق.

1. في الأوقات الأطول إجابة هي الإجابة الصحيحة.
مثال:

نتائج البحث على عينة مأخوذة من طلاب الصف التاسع الذين رسبوا في مادة الجبر سوف:

أ. ليس لها أهمية محددة.
ب. تعطي بيانات مهمة لجميع المدارس الثانوية.
ج. يعمم على السكان الضيقين ، ولكن قد يكون له آثار على مجموعات سكانية مماثلة.

الجواب هو (ج) ، لأنه هو الأطول والأكثر اكتمالاً. عادة ما يقوم كاتب الاختبار بإجراء اختبار الاختيار من متعدد من خلال تصفح المواد المراد اختبارها. قد يأتي على بيان يبدو أنه يقدم سؤالاً وجوابًا ، ويؤسس عنصر الاختيار من متعدد على هذا. الكتاب المختبرون على عجل يكتبون كلمات قليلة بقدر ما يستطيعون الإفلات منها. لذلك ، فإنهم يبخلون عندما يكتبون اختيارات غير صحيحة في اختبار الاختيار من متعدد. أفضل طريقة لتحديد الطول هي مقارنة عدد الكلمات المستخدمة في الإجابة. الطول المادي أقل أهمية. عادةً ما يكون الخيار الذي يحتوي على أكبر عدد من الكلمات هو الإجابة الصحيحة.

II. في اختبار مكتوب بعناية ، قد يتم استبعاد واحد أو أكثر من الإجابات المحتملة على أسس نحوية.
أمثلة:

أي مما يلي هو أفضل مصدر للمعلومات المتعلقة بالبنية الداخلية للأرض؟

أ. باروجرام
ب. مخططات الزلازل
ج. الرسم الحراري
د. hygrogram

يطلب السؤال إجابة بصيغة الجمع. ("أي مما يلي.") فقط ب هي إجابة بصيغة الجمع ، لذا فهي الإجابة الصحيحة.

إن إشارة شكسبير إلى الساعات في "يوليوس قيصر" هي مثال على:

أ. مفارقة تاريخية
ب. الآثار
ج. رخصة شعرية
د. جهل

تحذف الأسس النحوية الخيار ج لأن السؤال يستدعي إجابة تبدأ بحرف متحرك "مثال على. "تبدأ الإجابة (أ) و (ب) بالمقطع نفسه ، لذا فمن المحتمل أن يكون أحد هذين المقطعين: ب هو الجمع ، والسؤال يطلب إجابة فردية. أفضل خيار هو أ.

ثالثا. إذا بدأ خياران بنفس الصوت أو احتوى على أصوات أو تهجئة مميزة ، فإن الإجابة الصحيحة تميل إلى أن تكون واحدة من هذين الخيارين.

غالبًا ما يعتقد كاتب الاختبار أنه من الذكاء تضمين الإجابات الخاطئة عامل تشتيت مشابه للإجابة الصحيحة. يتم ذلك للتأكد من أن الطالب أكثر من مجرد دراية مبهمة بما قد يكون الإجابة الصحيحة.

الوحدة الوظيفية للكلية هي:

أ. الحوض
ب. النيفرون
ج. العصبون
د. النخاع

الخياران (ب) و (ج) متشابهان جدًا في التهجئة ، لذا من المحتمل أن يكون أحدهما هو الإجابة. بعد ذلك لا توجد أدلة ، لذلك يجب على الطالب استخدام المعرفة أو التخمين. الخيار (ب) هو الإجابة الصحيحة.

تتكون الطبقة الحاملة للماء للتكوين الارتوازي على الأرجح من:

أ. حجر الكلس
ب. رمل
ج. الجرانيت
د. الحجر الرملي

The work "sand" is repeated in b and d, and "stone" occurs in a and d. Answer d has both repeated elements. The best guess could be d.

رابعا. AVOID ANSWERS THAT REPEAT IMPORTANT WORDS GIVEN IN THE QUESTION.

Many test writers routinely include wrong answers that repeat terms of the question just to distract wild guessers.

An important commercial source of ammonia is:

أ. ammonia water
ب. coal tar
ج. soft coal
د. petroleum

The repetition of "ammonia" in answer a potentially eliminates that as the correct choice.

"Coal" in both b and b suggests one of these answers, and c is the correct one.

Test questions are often taken directly from the textbook. Watch for "unusual" or "catchy" statements. Watch for dates, definitions, or statements of facts.

V. ASK, before you take the test, if you are penalized for guessing. If so, don't guess. The instructor may subtract the number wrong for the number right. Then you may pay twice for every wrong answer.

السادس. UNDERSTAND precisely how to indicate the answers. (Do you put your "x" by the right one or the wrong one?)

VII. WATCH your numbers. It's easy to get mixed up.

ثامنا. WATCH for special words.

Statements with أبدا أو دائما are likely to be false.

Moderate statements are often true.

An answer that is "almost, but not quite true" is still false.

Extreme statements are almost always false.

Read through each question quickly and answer the ones you are fairly sure of first. Spend little time on the questions, and skip the ones you don't know. These can be analyzed when you can come back to them. Remember that these test techniques alone will not help you do well on a test. Your knowledge of the subject matter is the main determinant of how well you will do!


UM Learn Quiz Tool

Workshops on a variety of tools, including the quiz tool to develop multiple choice questions, are available for sessional instructors, instructors, librarians, pre- and tenured faculty members.

Tap here for UM Learn workshop times and locations. When attending a UM Learn workshop please bring your own laptop.

You can also find online support for developing quizzes through UM Learn.

  • Login at UM Learn
  • Tap الدعم to reveal the drop down menu (top right hand of the screen)
  • Tap Help
  • في ال Search Topics text box (top left hand corner), type “quiz”
  • Scroll down to Quizzes – Campus
  • Choose from a variety of videos to help you develop your quiz
  • For a more in depth understanding, scroll to the Assessments – Instructor Guide (pp. 71 – 102)

Writing good quiz/test question answers/distractors

Feel free to ask questions about these or any other questions./comments about writing quiz/test questions.

Writing good MCQ answers/distractors:

2. You can vary the number of distractors. Three to five distractors is ideal. A smaller number of answers/distractors increase the probability that a guess will be correct, however.

3. ALL distractors must be plausible. These are the best types of plausible-but-incorrect distractors:

أ. Common errors and commonly held myths or misconceptions (for those with less

ب. Statements that are true, but do not answer this question

ج. Content that is paraphrased incorrectly

4. If answers/distractors include best and not-as-good alternatives (“Select the best answer…”),

Make sure that there is an unambiguously correct answer or answers. Provide enough detail to differentiate best from not-as-good.

5. Keep answers/distractors about the same length.

6. Avoid answers/distractors that combine distractors (“b and c”).

7. Avoid using “all of the above,” and “none of the above.”

8. Make sure to use different placements of the correct answer. The most common placement of correct answer is c and test-wise learners know this.

NEVER include silly distractors.

42 Replies

Very good advice, Patti, thanks for sharing! I do agree with all of the points you listed, though I had never thought to note this down.

Wanted to highlight an issue on point 6- scoring bias. Let's say you have A, B, C, D as options and "B and C" in some manner is the answer (either as option D or as a mutliple choice with more than one option able to be selected- multiple response format).

The person who gets B and C is 100% correct. If someone gets only B or only C, they are half-correct. If anyone selects A. they are 100% incorrect. If combinations of A and B or A and C are possible, how is that scored? -1 for incorrect 0 for missed opportunity and 1 for each correct reply? How does that impact overall weighting for the total assessment.

Oh- and many times, I see designers make "B and C" answers correct where either B or C are sufficient options on their own, and are not required in conjunction (for example, two equivalent alternatives to saving a document like CTRL+S or File>Save).

Designers really, really need to think through the design implications.

Minor detail on point 8- if the answers are ordinal, like dates (May 23, June 6, July 10) or amounts (4ml, 5 ml, 6ml) I don't recommend shuffling (there are exceptions, but as a general rule, ordinal items should be listed in ordinal fashion so you are testing the knowledge and not catching them in a shuffle trick).

Many good items writing resources out there like the Donath Study and the National Board of Medical Examiners Item Writing Guide. But my personal favorite remains Cathy Moore's Action Learning Hero- it ensures that before you get at the item-writing level that you are testing applicable skills vs the enabling knowledge (both are acceptable to do, but the absence of one means you ended the journey short of the finish line).

David, Let me see if I understand your concern about #6. It'd be better to use a "Choose all that apply" because the language is less confusing. Also, research shows that when we use that B and C language, test-wise students know that this is the correct answer most of the time.

Good point about shuffling. If the answers have a natural order, it's a good idea to put them in that order (by date, amount, etc.) for clarity sake. Good save. شكرا! So that should be #9, right? How would we write that? #9: If the answers/distractors have a natural order (chronology/amount/etc.), place them in the natural order. Or would you write that differently?

Guys, please feel free to add more or tweak or contest.

Here's our a primary guideline from our Draft SOP for Self-Paced eLearning - Assessments, Test Items, and Questions section. I can't take credit for all of this, but I do think it's quite good. The section addresses feedback guidance, requirements for format, distracters, mastery / cut score, and packaging :

It is common for Self-Paced eLearning assessments to assess recall of facts associated with a principle or procedure. Frequently, this does not represent a one-to-one correlation with the actual performance of the procedure. By over-sanitizing or over-simplifying the variability presented by the task challenge in the real-world, it becomes difficult or impossible to prove the training actually improved performance.

- The complexity of an assessment item shall match the complexity of the task being measured.

When writing test items for eLearning assessments, consider more test types than multiple choice questions. Test items should also consider multi-part decisions, approximations of the task, and authentic simulations of the task environment.

Research supports the value of questioning to learning. Questions and test items used to probe and facilitate elaborative responses can increase comprehension, critical thinking, and learning. Reflection exercises can also be used encourage higher order thinking and may significantly improve learning in some situations.

Here are a couple of elements from our requirements table:

- Mastery Score:

Default mastery (cut score) for Minimally Acceptable Competency (MAC) level shall be 100%. The default score requirement may be adjusted during the project alignment. The cut score should not be an arbitrary number (i.e., 80%). The Angoff method can be used to determine a defensible cut score.

- Distracters

The test item and all distracters must be consistent with the course objectives and be educationally sound. The item stem, correct response and all distracters must be reviewed for clarity, relevance, ambiguity, cueing, appropriateness, bias (sexual, race, geographical, etc.) and validity. Reference SOP 9, 5-1 through 5-22.

We have a whole SOP for test item generation. It's pretty comprehensive but we've included enough in the eLearning guide to address most common issues. Here's a checklist we include for assessment item validation (copied and pasted directly from the guide):

  • Does the test item measure a learner’s ability to perform?
  • Is the test item accurate?
  • Is the test item clear and understandable?
  • Does the test item have only one correct answer?
  • Are all distracters non-ambiguous and within the realm of possibility? (no throw away distracters)
    Are the answer choices keyed accurately?
  • Is the wording or terminology correct?
  • Are the test item and all distracters free of clues that might indicate the correct answer?
  • Are supporting materials (graphics) relevant to the question?
  • Do supporting materials (graphics) provide sufficient information to answer the question?
  • Are graphics and other supporting materials clear, readable, and realistic?
  • Does the test item require the learner to use the information in any accompanying materials to get the correct answer (application) rather than just find the answer (reading)?

My concern about #6 isn't wording nor answer forecasting, it's scoring bias. If B and C are correct. Wouldn't that say someone choosing just B is partially correct and perhaps more knowledgeable than the user who responds with A? Whether item D is listed as B and C, any user selecting B or C is more correct than the user selecting A (because they have part of the answer).

As for multiple response- it gets extremely messy. Isn't the person who answers "B" more correct than someone who only selected "A"? Now, what if they selected A, B, D? A, D? B,C,D? A, D?

There are, of course, answers where B and C in conjunction is the only absolute correct answer and having "only B" or "only C" is nto considered partially correct. But in administering over 8,000 questions at the current time, I don't see this being the norm of items being submitted in this format.

Same scoring bias is inherent in "all of the above" too Any one answer is almost always partially correct.

Your wording for 9 is perfect- its really just an append to 8. With my teams it's a simple "just don't shuffle everything- when you look, it's obvious". Most folks get it on sight, but your wording is much more eloquent (my cup runneth over with snarkiness).

This is a great summary of best practices, Patti – thanks!

I would add another to the list: Ensure all answers/distractors have the same grammatical structure (tense, fragments s. sentences, etc.). This is one of my pet peeves, as it can be confusing for the learner (and it looks sloppy). ي

And I think a key point is that in most cases, it’s much better to write a MC question from a scenario standpoint (“Here’s the situation… What should Jane do?”) rather than from a straight facts perspective.

Sheila, Awesome addition to the list. Clarity of writing has to be at the top of the list when writing quiz/test questions. Grammar and parallel structure add to clarity. (And I agree that it just looks better! And like most people who write instructional content, I’m totally OCD about things looking right. Sounds like you are too. Shhhh, I won’t tell.)

I couldn’t agree more about scenario-based questions. I think we should start a thread on writing the stem (the part that asks the question) after we kill this part about answers/distractors. And hmmm, it really would have made more sense to talk about the stem first.

An article from last year on the subject:

David, I see your point. That’s the reason I said that that type of question might be better asked as a “Select all that apply” question rather than trying to combine answers, which is just confusing. Agree about All of the above. That answer is usually correct when used and test-wise learners know this.

I think some testing systems do give credit for partially right answers. Looked into the logic of computer adaptive testing and it’s pretty interesting. Not that our typical e-learning testing systems can do these complex algorithms. (Someone tell me if I’m wrong.)

Psychometrics says to make questions as hard (or easy) as the real life challenge. So if a person really has to select from many options, selecting from many options on a test makes sense. And sometimes, we ARE trying to see if someone can differentiate between partially correct and completely correct answers (this is something people often have to do on the job). But making a question more complex by making the language more complex makes no sense unless you’re trying to test a learner’s understanding of that type of complex language.

Snarkiness is fine. Been known to exhibit some myself at times.

100% agree. Cases do exist and some systems do support. Medical scenarios are perfect examples (the first symptoms shared and initial diagnoses cannot narrow it down to "just one thing").

I think the advice is "know the rules and capabilities for scoring" and "the true testing context" before using the question format.

You guys have me speechless. I love this conversation and found it in perfect time. I am in the beginning stages of writing online certification tests for a client and went to pull out my old stand-by Good Fair Tests, by Odin Westgaard and couldn't find it! You've given me what I was looking for.

Greg, here are some general guidelines for all test items:

General Guidelines for all Test Items

  1. Match test item to objective. If this isn’t possible, rethink the objective or the type of assessment (but DON’T change objective to match what is easy to assess!).
  2. Concentrate on central, critical content rather than peripheral, trivial content.
  3. Provide clear directions for the assessment and for groups of questions, including length and additional resources required.
  4. Consider the reading level of learners. Question difficulty should come from content not wording.
  5. Avoid negatives and double negatives as well as complex, awkward, or tricky wordings.
  6. Make sure items are precise, clear, and non-ambiguous. Include all necessary qualifiers but don’t provide unnecessary, superfluous information or irrelevant sources of difficulty (such as the need to do complex computations if that isn’t what is being tested).
  7. Avoid words such as always, often, frequently, never, none, rarely, infrequently because they tend to trip up learners.
  8. Make sure that each item has an unambiguous correct answer.
  9. Make sure test items don’t include clues about the correct answer or about other test items (common mistake!). Make sure grammatical construction doesn’t give away the right answer or that question stems don’t provide answers to other questions.
  10. Avoid double-barreled questions (that ask two things in one question).
  11. Group questions with the same directions together.
  12. Provide examples for complex questions.
  13. Prepare an answer key at the same time as the assessment.
  14. Avoid having a disproportionate number of correct answer in the same position (i.e., 50% of the answers are c).
  15. Test the assessment before using it!

Listen to Patti. She's real SMAHT!! مضحك جدا.

But seriously, this is an excellent discussion and some great lists. I don't know if I totally agree about NEEEVVEER using silly distractors. I think that really depends on the context of the assessment. In some cases, it may provide a moment of levity or make a specific point. That's just my .02 though .

Robert, that's SMAHT-A&&.

The don’t-use-silly-distractors-rule is realy only aimed at tests where the grade counts and the question is important. (And on these kinds of tests, all questions should be important.) The rationale is that it effectively reduces the number of "real" distractors so it makes it easier to guess. Plus, if you are doing item analysis, it would also throw off your item analysis scores and you wouldn't be able to tell if the question was good or needed to be reworked or thrown out.

But on a self-check. sure, why not have something fun? Tom K has some great examples of fun/silly tests/quizzes and he's even smahter.

Steve: Don’t know how I missed your post. The guideline you posted puts an amazing amount of instructional design and assessment writing wisdom in one sentence. If everyone did this, our assessments would be SO much more valid and therefore so much more valuable/worthwhile. It is possible to write multi-choice questions that are at a fairly high level of application, even though most people do not write them.

The complexity of an assessment item shall match the complexity of the task being measured.

Example of a multi-choice question at a reasonably high level of application:

John is designing an assessment for a new course on listening skills for case managers. The most critical objective is the ability to listen effectively, with a good outcome, during difficult, emotional conversations. He has decided to build a rating scale with very clear descriptors. Which approach is أفضل?

a) This is a good approach but it would be best if it were used on the job (not just after instruction) to rate a variety of interactions between the case manager and patients.

b) This is a good approach but John should validate the descriptors with content experts to make sure they are accurate and non-ambiguous.

c) This is a good approach but it will be important that raters use the rating scale immediately after training.

d) This is a good approach but because it is time consuming it would be best to use a multiple-choice assessment with questions written for complex, procedural objectives.

Another example of a multi-choice question at a reasonably high level of application:

A 57-year-old male who underwent surgery 6 months ago wants to donate blood. Donor information:

Weight 250 lb Temperature 98.7 F

Pulse 72 beats/min Hgb 12.1 g/dL Blood pressure 120/68 mm Hg

Based on the donor information, we should

a) approve whole blood donation

b) approve platelet aphaeresis only

c) reject his donation due to recent surgery

d) reject his donation due to low hemoglobin

We can do higher levels of application on MCQs using technology. any comments?

"We can do higher levels of application on MCQs using technology. any comments?"

I'd say, yup I posted this on the old forums. We built a set of assessments on heavy machine gun operation and maintenance. It was pretty hotsauce in my opinion and sooo much fun to work on. This was a "skill bomb", or rather a set of "skill bombs" in contrast with "content bombs" that tend to be more painful to design / develop.

In these assessments, the each task was broken down into a set of sub-tasks and steps. Pretty straight forward. We used these definitions to build "task chaining" interactions that blended a couple of different mechanics. One of which was a multiple choice question driven by a pie menu. The pie menu expanded to expose another challenge when the previous challenge was met (or a mistake was made). Other steps were emulated or approximated using fairly simple interactions (drag / drop). This product was all about the cognitive tasks - reinforcing the stuff that happens from the neck up with procedural feedback.

You'll see the rest of the explanation in the post. But, yeah, I definitely think we can test higher levels of application using MCQ's and technology based assessment. It's not always easy. But when it's needed, it's quite satisfying.

Task chaining addresses the "what do you do now" ordering in a relatively natural cognitive sequence. Performance is contextual. I think our assessments should be authentic whenever it's appropriate. One of the coolest things about this is the ability to model task progression and model it at the level of complexity that is appropriate to the learner. Task progression is so important to building clean mental models, in my opinion. The essence of practice.

@Steve, working on a course that does this - at least to a certain extent. Working with another ID, so we're trying to help each other think things through & he's better at coding the navigation. it's getting quite complex! But, I'm excited about how it will turn out Still in storyboard-ish phase (I can't really think thru all that I need until we do some sophisticated navigation & branch planning), but it's fun! :)

Hey folks- was going to post this to the other Elearning Heroes discussion when someone was talking about question pools- it's not as tricky as everyone things. Here's a screenr vid I did for Learning Solutions 2011.

Also, 100% agree that M/C questions can be higher-level learning. Although we can't get to 100% synthesis like we can with actual roleplay or speaking with a customer, we can create a customer interaction with key decision points that hit the major difficulties in judgement that our users hit. Even though I agree it isn't quite like the real thing, it makes our users more literate in the process, and insightful regarding the challenges, so mentoring starts in an optimized spot (short version: students come prepared for class).


Multiple-Choice Tests: Revisiting the Pros and Cons

Given class sizes, teaching loads, and a host of other academic responsibilities, many teachers feel as though multiple-choice tests are the only viable option. Their widespread use justifies a regular review of those features that make these tests an effective way to assess learning and ongoing consideration of those features that compromise how much learning they promote.

What multiple-choice testing has going for it.

  • Scoring is quick and easy, especially if a machine is involved.
  • Easy creation of multiple versions, again with machine assistance. Plus, there’s the potential to grow the collection of questions every time the course is taught.
  • Simple statistics (now regularly calculated by computer or via LMS) allow item analysis to reveal how well a question discriminates between those who know the material and those who don’t.
  • Can be graded objectively without rater bias.
  • Allow for inclusion of a broad range of topics on a single exam thereby effectively testing the breadth of a student’s knowledge.

Potential benefits of multiple-choice test questions when done right.

  • On too many multiple-choice tests, the questions do nothing more than assess whether students have memorized certain facts and details. But well-written questions can move students to higher-order thinking, such as application, integration, and evaluation. SAT questions illustrate how thought-provoking a multiple-choice question can be. Ways to address: Recognize the amount of time it takes to write a good question. Preserve and reuse good questions. Consider using only three-answer options. Research says you can check the reference below.
  • Questions can be clearly written and if they are, it’s a straight shot to what the student knows. But the clarity of multiple-choice questions is easily and regularly compromised—with negatives or too much material in the stem, for example. Ways to address: Do an item analysis and find out if a question is being missed by those with high exam scores. If so, there’s probably something wrong with the question and it should be tossed.

What’s problematic about multiple-choice testing.

  • A careful reading of some questions can reveal the right answer, and test savvy students will use this to their advantage. It might be the grammatical structure that only fits one answer option or the longer length of the correct response. What happens here is that the questions end up testing literary skill rather than content knowledge. Ways to address: Give the test to someone not taking the course and see how many questions they get correct. Ask if something tipped them off to the right answer.
  • With lucky guesses students get credit for correct answers. It looks like they know something they don’t know. Ways to address: 1) Avoid throw-away answer options—those that are obviously incorrect. If the student doesn’t know the answer but can rule out one or two of the options, they’ve significantly upped the chances of getting it right. 2) Some teachers use a formula that gives points for the correct answer and takes a lesser amount of points off for answers missed. This approach, not terribly popular with students, decreases guessing by forcing student to leave questions blank when they don’t know. 3) Others have students rate the level of confidence they have in their answer, which becomes part of the score. Correct answers with high confidence ratings score the highest. Correct answers with low confidence ratings get a lower score.
  • Wrong answer options expose students to misinformation, which can influence subsequent thinking about the content. This is especially true if students carefully consider the options and select an incorrect one after having persuaded themselves that it’s right. Ways to address: Spend time during the debrief on incorrect answer options regularly selected. This is a time when students need to be doing the leg work, not the teacher. Have them talk with each other, check notes, look things up in the text, and then explain why the option is incorrect. Make five bonus points available during the debrief. Those points are earned for everyone in the class by students who explain why certain answer options are wrong. More points are awarded when the explanation is offered by someone who selected that incorrect option.
  • Asked for their test preference, most students pick multiple-choice tests. They like them because they think they’re easier. And they are. With a multiple-choice question, the answer is selected, not generated. Students also think they’re easier because they’re are used to multiple-choice questions that test recall, ask for definitions, or have answers that can be memorized without being all that well understood. Ways to address: Write questions that make students think.

If you regularly use multiple-choice tests, you ought to have a good working knowledge of the research associated with them. That can be acquired with one well-organized and easily understood “Teacher-Ready Research Review.”

Xu, X., Kauer, S., and Tupy, S. (2016). Multiple-choice questions: Tips for optimizing assessment in-seat and online. Scholarship of Teaching and Learning in Psychology, 2 (2), 147-158.

An article highlighting the research covered in the Xu, et al. appeared in the November 2016 issue of The Teaching Professor.


Automatic distractor generation for multiple-choice English vocabulary questions

The use of automated systems in second-language learning could substantially reduce the workload of human teachers and test creators. This study proposes a novel method for automatically generating distractors for multiple-choice English vocabulary questions. The proposed method introduces new sources for collecting distractor candidates and utilises semantic similarity and collocation information when ranking the collected candidates. We evaluated the proposed method by administering the questions to real English learners. We further asked an expert to judge the quality of the distractors generated by the proposed method, a baseline method and humans. The results show that the proposed method produces fewer problematic distractors than the baseline method. Furthermore, the generated distractors have a quality that is comparable with that of human-made distractors.


علم النفس المرضي

1) Which of the following is an example of a Specific Learning Disability?

2) Which of the following is an example of an intellectual disability?

3) An example of a Developmental Disorder is:

4) Reading Disorder is a developmental disorder and is characterised by reading achievement (e.g. accuracy, speed and comprehension) being significantly below standards expected for which of the following

5) In learning disabilities, the name for mathematical disorder is:

6) Which of the following may occur in Expressive Language Disorder?

7) Which of the following is NOT a physical cause often associated with Phonological disorder?

8) Which of the following is the percentage of pre-school children who are diagnosed with a phonological disorder of unknown origin?

9) Stuttering is a disturbance in the normal fluency and time patterning of speech that is inappropriate for the individual's age. It involves which of the following?

10) Treatment of communication disorders is normally the domain of speech therapists and related disciplines, and a range of successful treatment programmes and equipment are available for disabilities such as phonological disorder and stuttering (Saltuklaroglu & Kalinowski, 2005 Law, Garrett & Nye, 2004). For example, hand-held equipment can provide which of the following?

11) Which of the following is a technique used to address stuttering?

12) Which of the following criteria can be used to define Intellectual disabilities?

13) In DSM-IV-TR intellectual disabilities are divided into a number of degrees of severity, depending primarily on the range of IQ score provided by the sufferer. One of these is Mild Mental Retardation, corresponding to an IQ score between:

14) In DSM-IV-TR intellectual disabilities are divided into a number of degrees of severity, depending primarily on the range of IQ score provided by the sufferer. One of these is Moderate Mental Retardation, represented by an IQ score between:

15) In DSM-IV-TR intellectual disabilities are divided into a number of degrees of severity, depending primarily on the range of IQ score provided by the sufferer. One of these is Severe Mental Retardation, represented by an IQ score between:

16) In DSM-IV-TR intellectual disabilities are divided into a number of degrees of severity, depending primarily on the range of IQ score provided by the sufferer. One of these is Profound Mental Retardation, represented by an IQ score below:

17) In the UK, the Special Education Needs & Disability Act of 2001 extended the rights of individuals with intellectual disabilities to be educated in mainstream schools. Schools are now required to draw up which of the folloing in order to facilitate the inclusion of pupils with intellectual disabilities and to make reasonable adjustments so that they are not disadvantaged?

18) Individuals with Down Syndrome often have moderate to severe intellectual impairment with a measurable IQ usually between:

19) Which of the following procedures can be used to identify Down Syndrome pre-natally?

20) Fragile X syndrome is associated with which of the following?

21) Which of the following is an example of a peri-natal cause of intellectual disability when there is a significant period without oxygen occurring during or immediately after delivery?

22) Which of the following is the main neurological birth syndrome caused by anoxia?

23) Which of the following is a form of child abuse that is known to cause intellectual disability?

24) The quality of life of people with intellectual disabilities can be improved significantly with the help of basic training procedures that will equip them with a range of skills depending on their level of disability. The application of learning theory to training in these areas is also known as:

25) Inappropriate, life-threatening or challenging behaviours may be inadvertently maintained by reinforcement from others in the environment. Which of the following is a process that can be carried out in order to help identify the factors maintaining the behaviour?

26) Many individuals with intellectual disabilities are conscientious and valued workers employed in which of the normal work environments. Individuals with more specific needs may need to pursue employment within:

27) Disorders which are characterised by serious abnormalities in the developmental process, fall under the heading of pervasive developmental disorders (PDD) and are usually associated with impairment in several areas of development. From early infancy, some children will exhibit a spectrum of developmental impairments and delays that include which of the following?

28) Early manifestation of symptoms such as severe impairment in social interaction and in communication can be diagnosed as which of the following?

29) In autistic spectrum disorder when as individual exhibits immediate imitation of words or sounds they have just heard, this is known as:

30) When an individual with multiple cognitive disabilities has extraordinary proficiency in one isolated skill, this is known as?


All of the wrong answer choices should be completely reasonable. This can be very hard to accomplish, but avoid throwing in those give-away distractors as it detracts from the test’s validity. If you’re really stuck, get help from your friendly SME. (BTW, this word can also be spelled as “distracter.”)

This can be difficult to achieve, but expert test-takers can use answer length as a hint to the correct answer. Often the longest answer is the correct one. When I can’t get all four answers to the same length, I use two short and two long.


شاهد الفيديو: 10 استراتجيات لاختيار إجابة صحيحة في اسئلة الخيارات المتعددة في الامتحانات (أغسطس 2022).