ผลของการให้คะแนนที่มีต่อประสิทธิภาพการทดสอบ แบบปรับเหมาะด้วยคอมพิวเตอร์

Abstract

การวิจัยนี้มีวัตถุประสงค์เพื่อศึกษาผลของการให้คะแนนที่มีต่อคุณภาพการวัดด้านความตรง ความเที่ยง ความคลาดเคลื่อนมาตรฐานในการวัด และเปรียบเทียบผลของการให้คะแนนที่มีต่อประสิทธิภาพการทดสอบแบบปรับ เหมาะด้วยคอมพิวเตอร์ ในด้านจำนวนข้อสอบ และค่าฟังก์ชั่นสารสนเทศของชุดข้อสอบ เมื่อพิจารณาตามเกณฑ์การคัด เลือกข้อสอบ การประมาณค่าความสามารถผู้สอบ การยุติการทดสอบ และความสามารถของผู้สอบ โดยระยะแรกเป็นการ สร้างคลังข้อสอบวิชาคณิตศาสตร์ ระดับชั้นมัธยมศึกษาตอนปลาย วิเคราะห์ตามทฤษฎีการตอบสนองข้อสอบ กลุ่มตัวอย่าง 3,330 คน ได้ข้อสอบ 230 ข้อ ยังไม่ได้ปรับสเกล การวัดนั้นมีลักษณะ ใกล้เคียงกัน ซึ่งสังเกตได้จากค่าเฉลี่ยของค่าพารามิเตอร์ ของข้อสอบที่วิเคราะห์ได้ มีค่าอำนาจจำแนก 0.73-0.95 และค่าเบี่ยงเบนมาตรฐาน 0.06-0.24 อยู่ในเกณฑ์ดี มีค่าความ ยากง่าย 0.79-1.09 และค่าเบี่ยงเบนมาตรฐาน 0.29-1.27 อยู่ในเกณฑ์ค่อนข้างยาก มีค่าการเดา 0.11-0.16 และค่าเบี่ยง เบนมาตรฐาน 0.02-0.04 อยู่ในเกณฑ์ดี ทำการตรวจสอบความเป็นมิติเดียวโดยการวิเคราะห์องค์ประกอบ พบว่าค่าไอ เกนตัวประกอบที่ 1 สูงกว่าค่าไอเกนตัวประกอบอื่นๆ ที่เหลือที่มีค่าไอเกนใกล้เคียงกัน แสดงว่า ข้อสอบที่ได้มีความเป็นมิติ เดียว ระยะที่สองศึกษาผลของการให้คะแนนที่มีต่อประสิทธิภาพการทดสอบแบบปรับเหมาะด้วยคอมพิวเตอร์ วิเคราะห์ ข้อมูลกลุ่มตัวอย่าง 540 คน โดยใช้ค่าเฉลี่ยเลขคณิต ค่าเบี่ยงเบนมาตรฐาน ผลการวิจัย พบว่า คุณภาพของการวัดจากผล ของการให้คะแนนแบบ Multiple-Response Method (MR) แบบ Multiple True-False Method (MTF) และแบบ Omit Multiple True-False Method (OMTF) มีค่าความตรง คือ 0.7202, 0.7233, 0.7239 ตามลำดับ ค่าความเที่ยง คือ 0.7716, 0.7750, 0.7757 ตามลำดับ และความคลาดเคลื่อนมาตรฐานในการวัด คือ 0.2326, 0.4609, 0.2305 ตาม ลำดับ สำหรับผลของการให้คะแนนแบบ MR แบบ MTF และแบบ OMTF เมื่อพิจารณาตามเกณฑ์การคัดเลือกข้อสอบ การประมาณค่าความสามารถผู้สอบ การยุติการทดสอบ และความสามารถของผู้สอบ มีผลต่อจำนวนข้อสอบและค่า ฟังก์ชั่นสารสนเทศของชุดข้อสอบ

The purposes of this research were to study effects of scoring methods on the quality measure of validity, reliability, and standard error of measurement and to compare results of effects of scoring methods on efficiency of computerized adaptive testing to investigate on number of items and test functional information by considering the composition of the main testing, item selection criteria, ability estimation procedure, termination criteria, examinee’s different abilities. The first phase was developing test item bank on Mathematics for an upper secondary school level. The test was analyzed to get the qualities of items by using Item Response Theory. The sample of 3,330 examinee. A total of 230 test items were created that have not adapted the scale, The measurements were similar, as observed by the mean of the analyzed test parameters, having the discrimination index were 0.73-0.95, the standard deviation were 0.06-0.23, which is considered good. The difficulty of test items were 0.79-1.09, the standard deviation were 0.29-1.27. The guessing values were 0.11-0.16, the standard deviation were 0.02-0.04, which is considered good. Having checked the unidimensional of the test by using factor analysis, it revealed that the first value was higher than other values, with similar values all together. It is assumed that the test is unidimensional. The second phase was studying the effects of scoring methods by the five independent variables including selection criteria, ability estimation procedure, termination criteria and examinee’s ability on efficiency of computerized adaptive testing to investigate on number of items and test functional information. The data obtained from 540 samples were analyzed by using means, standard deviation, and Analysis of Variance. The results indicated that the quality of the measurement results scoring of Multiple-Response Method (MR), Multiple True-False Method (MTF) and Omit Multiple True-False Method (OMTF) revealed validity of 0.7202, 0.7233, 0.7239, respectively. The reliability values were 0.7716, 0.7750, 0.7757, respectively. The standard error of measurement values were 0.2326, 0.4609, 0.2305, respectively. The Effects of MR, MTF and OMTF scoring after item considering selection criteria, ability estimation procedure, termination criteria examinee’s ability, number of items, and functional test information.