چکیده:
هدف: هدف مطالعه حاضر، مقایسه میزان دقت و خطای اندازهگیری مدلهای دوارزشی و چند ارزشیIRT در نمرهگذاری آزمونهای توانایی سرنوشتساز بود.
روش پژوهش: جامعه پژوهش شامل تمامی شرکتکنندگان آزمون سراسری پروانه وکالت سالهای 1396 و 1398 بوده که از میان آنها تعداد 5000 نفر از سال 1396 و تعداد 5000 نفر از سال 1398 با روش نمونهگیری تصادفی ساده انتخاب شدند. همچنین، گردآوری دادهها با استفاده از پاسخهای شرکتکنندگان آزمون انجام یافت. متغیر مستقل این پژوهش، شیوه و مدل نمرهگذاری و متغیر وابسته، میزان برازش و آگاهی (دقت) مدل محسوب میشود. بر این اساس، روش پژوهش آزمایشی است.
یافتهها: تجزیه و تحلیل یافتهها نشان داد که از میان مدلهای لجستیک دوارزشی IRT، مدل 3 پارامتری، و از میان مدلهای چندارزشی اسمی مورد مطالعه نیز، مدل 3 پارامتری در مقایسه با سایر مدلها، برازش و نیز آگاهیدهندگی بیشتر و مطلوبتری بر روی دادههای مورد مطالعه داشتند.
نتیجهگیری: با توجه به برازش و میزان آگاهی مطلوبتر مدل 3 پارامتری دو ارزشی و مدل 3 پارامتری چندارزشی در مقایسه با سایر مدلها، استفاده از این مدلها در نمرهگذاری میتواند به افزایش دقت اندازهگیری و کاهش خطا، و نیز به منصفانه بودن فرآیند گزینش متقاضیان آزمون پروانه وکالت کمک نماید.
Objective: The aim of this study was to compare the accuracy and measurement error of dichotomous and Polytomous IRT models in scoring high-stakes, large-scale ability tests. Methods: The statistical population of this study was included all the participants of the lawyer's license external tests in 2016 and 2018, from which 5000 persons and 5000 persons respectively were selected by random sampling. In addition, data collection was done using the responses of the participants of the above exam. Accordingly, the research method is experimental. Results: The analysis of the findings showed that among the dichotomous IRT logistic models, the 3-parameter model, and among the nominal Polytomous models studied, the 3-parameter model are a better fits and information compared with other models on the data under study. Conclusion: Considering the more favorable fit and the level of information of the 3-parameter dichotomous model and the 3-parameter Polytomous model compared with other models, the use of these models in scoring can increase the accuracy of measurement and reduce the error. In addition, the use of these models also helps the fairness of the selection process of the applicants for the lawyer's license exam.