چکیده:
هدف: هدف این پژوهش مقایسه روشهای تعیین تعداد ابعاد براساس دادههای آزمونهای سراسری و تعیین تعداد ابعاد موجود در این دادههاست.روش پژوهش: پس از بررسی پیشینه نظری و تجربی، از دادههای آزمونهای ریاضی (گروه ریاضی)؛ شیمی (گروه تجربی)؛ و فلسفه-منطق (گروه انسانی) سال 1395 برای تحلیل استفاده شد.یافتهها: تحلیل دادهها با یازده روش تحلیل ابعاد، 34 شاخص مبتنی بر این روشها و نیز روشهای نموداری تحلیل خوشه سلسله مراتبی، تحلیل شبکه اکتشافی و نقشه حرارتی نشان داد که روشهای مختلف بسته به ماهیت، عامل یا عوامل کلی، اختصاصی و یا خوشههای سوال موجود در آزمونها را منعکس میکنند. نتایج حاصل از تحلیلها نشان داد تکبعدی بودن ضروری (essential unidimensionality) در اکثر موارد به معنی دقیق آن برقرار نیست و دستکم در آزمونهای تخصصی سراسری سال 1395 ساختار از نوع عامل دوگانه (bifactor) است. با این تفاوت که ساختار دوگانه حاصل با مشخصات مدل دوگانه موجود در پیشینه همخوانی ندارد. یعنی هر سوال علاوه بر عامل کلی با بیش از یک عامل اختصاصی ارتباط دارد که به ساختار پیچیده یا نسبتا پیچیده منجر میشود.نتیجهگیری: براساس نتایج تحلیل عاملی کل دادهها و تحلیل عاملی غیرخطی افزایش تدریجی مجانب پایین باعث کاهش تعداد ابعاد میشود. پیشنهاد میشود برای تعیین ابعاد آزمونهای سراسری از ترکیب چند روش استفاده شود. به علاوه به هنگام تحلیل میزان اشباع عامل کلی، که در میزان همبستگی بین سوالها منعکس میشود، لحاظکردن مجانب پایین، نوع برخورد با پاسخهای سفید و مقایسه نتایج حاصل از کل دادهها با دادههای کامل (دادههای بدون پاسخ سفید) میتواند در این خصوص مفید باشد. به علاوه میزان برازش عاملهای حاصل از روشهای مختلف اکتشافی به دادهها با استفاده از روشهای تاییدی نیز بررسی شده و در نهایت به تفسیرپذیری مدل حاصل نیز توجه گردد.
Objective: The present study aimed to compare the dimensionality assessment methods using National Entrance Exam data and determine the number of dimensions in the exam’s data.Methods: The data from mathematics (mathematics group), chemistry (experimental sciences group) and Philosophy-logic (humanities group) sub-tests of the National Entrance Exam in 2016 AD (1395 solar) were used for analysis.Results: Analysis based on 11 methods resulted in 34 related indices and graphical methods, such as hierarchical cluster analysis, exploratory graph analysis and heat map revealed that different methods, depending on their nature, resulted in general factors, specific factors, and a cluster of items. Results showed that the required uni-dimensionality did not exist in most cases, and the structure of the specialized national exam in 2016 was bi-factorial. The only difference was that the resulting bi-factor structure did not match the specifications of the previous bi-factor model (i.e., a general factor and several specific factors unrelated to each other and the general factor, so that each item is merely related to one specific factor in addition to the general factor). In other words, besides correlating with the general factor, each item is related to more than one specific factor whose result was a complex or a relatively complex structure. Factor analysis of the total data and nonlinear factor analysis revealed that a gradual increase in lower asymptote reduced the number of dimensions. Conclusion: It is recommended to apply a combination of methods to find the dimensions of the National Entrance Exam. In addition, the extent of general factor saturation, reflected in item correlations, considering lower asymptote, the way of dealing with omitted responses in analysis, and comparing results of all data with complete data (data without missing values) can be useful for dimensionality assessment. Furthermore, researchers should consider checking the fit of the models extracted from different explanatory methods by confirmatory factor analysis and the interpretation of the extracted model.
خلاصه ماشینی:
يافته ها: تحليل داده ها با يازده روش تحليل ابعاد، ٣٤ شاخص مبتني بر اين روش ها و نيز روش هاي نموداري تحليـل خوشه سلسله مراتبي، تحليل شبکه اکتشافي و نقشه حرارتي نشان داد که روش هاي مختلف بسته به ماهيت ، عامل يـا عوامل کلي، اختصاصي و يا خوشه هاي سوال موجود در آزمون ها را منعکس ميکنند.
نتايج حاصل از تحليل ها نشان داد تک بعدي بودن ضروري (essential unidimensionality) در اکثر موارد به معني دقيـق آن برقـرار نيسـت و دست کم در آزمون هاي تخصصي سراسري سال ١٣٩٥ ساختار از نوع عامل دوگانه (bifactor) است .
* اين مقاله از طرح پژوهشي با عنوان "روش هاي بهينه تعيين ابعاد زيربنايي آزمون هاي سراسري سرنوست ساز ورود به دانشگاه " به شماره ١٢/٨٧٣٧٤، که با حمايت مالي سازمان سنجش آموزش کشور و از محل اعتبارات پژوهشي اين سازمان تامين شده ، استخراج گرديده است مطالعات اندازه گيري و ارزشيابي آموزشي، سال ١١، شماره ٣٣، ص .
در مقابل وقتي همبستگي بين سوال ها پايين باشد (مثل سوال هاي آزمون شيمي با متوسط همبستگي تتراکوريک ٠/٢ و نماي ٠/٣٥ و همبستگي فاي ٠/١٥ با نماي ٠/٢٢)، که حاکي از کاهش غلبه عامل کلي است ، نتايج حاصل از تحليل شبکه اکتشافي نسبت به نتايج حاصـل از تحليل عاملي اکتشافي و روش ناپارامتريک Detect براساس مدل دو عاملي برازش بهتري با داده ها دارد.
A generalized dimensionality discrepancy measure for dimensionality assessment in multidimensional item response theory.
(1999)A Classical Test Theory Perspective on LSAT Local Item Dependence, LSAC Research Report Series, Statistical Report.
A new item response theory modeling approach with applications to unidimensionality assessment and ability estimation.
A framework for dimensionality assessment for multidimensional item response models.