پایایی معیارهای پذیرش دانشجوی دکتری مهندسی برق قدرت در ایران: رویکردی بر مبنای تئوری تعمیم‌پذیری

نوع مقاله : مقاله پژوهشی

نویسندگان

1 دانشجوی دکتری سنجش و اندازه گیری، دانشکدۀ روان‌شناسی و علوم تربیتی، دانشگاه علامه طباطبایی.(نویسندۀ مسئول)

2 استاد تمام گروه سنجش و اندازه گیری، دانشکدۀ روان‌شناسی و علوم تربیتی، دانشگاه علامه طباطبایی

3 دانشیار گروه سنجش و اندازه گیری، دانشکدۀ روان‌شناسی و علوم تربیتی، دانشگاه علامه طباطبایی

4 استادیار پژوهشی سازمان سنجش آموزش کشور

چکیده

فرایند سنجش و پذیرش افراد توانمند و کارآمد برای تحصیل در دورۀ دکترای تخصصی در ایران بسیار پر چالش بوده است. اهمیت این مسئله به حدی است که ویژگی‌های روان‌سنجی سنجه‌های پذیرش و ملاک‌های مهم آن، همچنین شیوۀ آزمون‌گیری به صورت تستی یا تشریحی برای تدوین الگوی بهینۀ پذیرش داوطلبان همواره در بین مجامع دانشگاهی، سیاست‌گذاران، و متقاضیان ورود به تحصیلات تکمیلی محل بحث و جدال است. هدف اولیۀ این پژوهش مشخص کردن ضرایب شبه پایایی این معیارها بوده است. روش این پژوهش از نوع توصیفی است، و در چارچوب تئوری تعمیم‌پذیری، پایایی سنجه‌ها و معیارهای-داده‌های ثانویه-مربوط به برنامۀ سنجش و پذیرش دکتری رشتۀ مهندسی برق گرایش قدرت در 37 دانشکدۀ پذیرندۀ دکتری در دانشگاه‌های ملی مختلف در سال 1397 را بررسی کرده است. داده‌ها با نرم‌افزار  mGENOVA بر اساس تحلیل چند متغیری با یک طرح تک رویه‌ای p^•×i^° تحلیل شده‌اند. نتایج نشان داد که چهار آزمون تخصصی، و دو آزمون عمومی به دلیل سختی سؤالات و بی‌پاسخ بودن، و به‌کارگیری نمره‌گذاری فرمولی، پایایی و دقت مناسبی ندارند. دو معیار ترکیبی مصاحبه که از سنجه‌های متفاوتی تشکیل شده‌اند، از ضرایب تعمیم‌پذیری و اعتمادپذیری بهتری برخوردار بودند. افزودن معدل کارشناسی و کارشناسی ارشد، به عنوان متغیر پیش‌بینی‌کنندۀ جداگانه، به دلیل محدودیت دامنه در برآورد نمرات جهانی ترکیبی کارایی چندانی ندارد. در یک برنامۀ پذیرش دکتری که سازۀ زیربنایی‌ای بسیار گسترده‌ای تعریف، و سنجه‌های چندگانه‌ای استفاده می‌شود، مؤلفه‌های خطای بیشتری نیز وجود خواهد داشت. بنابراین، نمی‌توان تنها یک مقدار پایایی معین برای سنجه‌های آن مشخص کرد. امّا با تعدیل سطوح دشواری آزمون‌ها، استفاده از طرح‌های نمره‌گذاری سهمی سؤالات بدون جریمه حدس شانسی، نمونه‌گیری کاملتر از سازۀ زیربنایی و افزایش لایه‌های سطوح می‌توان تصمیم‌گیری‌های آموزشی با ریسک بالا را برای طبقه‌بندی افراد، با پیش‌بینی‌های نادرست کمتری انجام داد.

کلیدواژه‌ها


آلن، مری جی و ین، وندی ام (1979). مقدمهای بر نظریههای اندازه‌گیری (روان‌سنجی). ترجمۀ دلاور، علی (1374) انتشارات سازمان مطالعه و تدوین کتب علوم انسانی دانش‌گاه‌ها (سمت). چاپ اول.
ذوالفقارنسب، سلیمان، خدایی، ابراهیم و یادگارزاده، غلامرضا (1391). وزن‌دهی بهینه به سؤال­ها و خرده آزمون‌های ورودی برای ساخت نمرۀ کل ترکیبی. فصلنامه مطالعات اندازه‌گیری و ارزشیابی آموزشی. 3 (4)، 104-79.
سازمان سنجش آموزش کشور (1395). شیوه‌نامۀ اجرایی آزمون ورودی دورۀ دکتری (Ph.D.). سازمان سنجش آموزش کشور:
  http://www.sanjesh.org/FullStory.aspx?gid=13&id=2316
وزارت بهداشت، درمان، و آموزش پزشکی (1397). آییننامۀ آموزشی دورۀ دکتری تخصصی (Ph.D.). مصوب شصت و نهمین جلسۀ شورای عالی برنامه‌ریزی علوم پزشکی: http://satim.tums.ac.ir/app/webroot/upload/files/PhD(2).pdf
یونسی، جلیل (1394). کاوش نگرش داوطلبان ورود به دورۀ دکتری و اعضای هیئت علمی نسبت به شیوه‌های متفاوت گزینش متقاضیان ورود به دورۀ‌های دکتری. فصلنامه اندازه‌گیری تربیتی،  6 (22)، 227 تا 260.  Allen, M. J., & Yen, W. M. (2001). Introduction to measurement theory. Waveland Press.
Attiyeh, G. M. (1999). Determinants of persistence of graduate students in Ph. D. programs. ETS Research Report SeriesVolume 1999, Issue 1, i-43.
American Educational Research Association. American Psychological Association & National Council for Measurement in Education [AERA, APA & NCME] (2014). The Standards for Educational and Psychological Testing. Washington.
Brennan, R. L. (2004). Some perspectives on inconsistencies among measurement models. Center for Advanced Studies in Measurement and Assessment (CASMA Research Report, Number 8. Iowa City, IO: University of Iowa. (Available on https://education.uiowa.edu/sites/education.uiowa.edu/files)
Brennan, R. L. (2009). Notes about nominal weights in multivariate generalizability theory. CASMA Technical Note, No. 4 Iowa City, IA: Center for Advanced Studies in Measurement and Assessment, the University of Iowa. (Available on http://www.education.uiowa.edu/casma).
Crighton, J. V. (2003). Standardized Tests and Educational Policy. Encyclopedia of Education.
Cronbach, L. J. (1972). The dependability of behavioral measurements. Theory of generalizability for scores and profiles, 161–188. New York: John Wiley
Gyll, S., & Ragland, S. (2018). Improving the validity of objective assessment in higher education: Steps for building a best‐in‐class competency‐based assessment program. The Journal of Competency‐Based Education, 3(1), 1-8.
Johnson, S., & Johnson, R. (2010). Component reliability in GCSE and GCE. Ofqual. https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/578865/Component_reliability_in_GCSE_and_GCE.pdf)
Kane, M. (2010). Errors of Measurement, Theory, and Public Policy. William H. Angoff Memorial Lecture Series. Princeton, NJ: Educational Testing Service. (Available on https://www.ets.org/Media/Research/pdf/PICANG12.pdf)
Kuncel, N. R., & Hezlett, S. A. (2007). Standardized tests predict graduate students' success. Science, 315(5815), 1080-1081.
Li, D., & Brennan, R. (2007). A multi-group generalizability analysis of a large-scale reading comprehension test. In annual meeting of the National Council on Measurement in Education. Chicago, IL.
Lin, C. K. (2014). Issues and challenges in current generalizability theory applications in rated measurement (Doctoral dissertation, University of Illinois at Urbana-Champaign).
Magnoson, D. (1991). Theoretical Basis of Psychological Tests. Trans. by Baraheni MN. Tehran: Institute University Publisher.
National Research Council. (2002). Performance assessments for adult education: Exploring the measurement issues: Report of a workshop. National Academies Press.
Nussbaum, A. (1984). Multivariate generalizability theory in educational measurement: An empirical study. Applied Psychological Measurement, 8(2), 219-230.
Sebok, S. S., & MacMillan, P. D. (2014). Assessment of a Master of Education Counselling Application Selection Process Using Rasch Analysis and Generalizability Theory. Canadian Journal of Counselling and Psychotherapy48(2). Retrieved from https://cjc-rcc.ucalgary.ca/article/view/60970
Shavelson, R. J., & Webb, N. M. (2006). Generalizability Theory. In J. L. Green, G. Camilli, & P. B. Elmore (Eds.), Handbook of complementary methods in education research (p. 309–322). Lawrence Erlbaum Associates Publishers.
Smits, N., van der Ark, L. A., & Conijn, J. M. (2018). Measurement versus prediction in the construction of patient-reported outcome questionnaires: can we have our cake and eat it? Quality of Life Research, 27(7), 1673-1682.
Swan, M., & Burkhardt, H. (2012). A designer speaks: Designing assessment of performance in mathematics. Educational Designer: Journal of the International Society for Design and Development in Education, 2(5), 1-41.
Yu, M. (1991). The assessment of partial knowledge. Journal of National Chengchi University, 63, 401-428.
Webb, N. M., & Shavelson, R. J. (2005). Generalizability theory: overview. Encyclopedia of statistics in behavioral science.
Webb, N. L. (1997). Determining Alignment of Expectations and Assessments in Mathematics and Science Education. Nise Brief, 1(2), n2.
Zwick, R. (2007). College admission testing. National Association for College Admission Counseling, 1-44. (https://offices.depaul.edu/enrollment-management/test-optional/Documents/ZwickStandardizedTesting.pdf)