大型資料庫國小四年級自然科學習成就評量標準設定結果之效度評估 Validation of the Standard Setting Procedure for a Large Scale 4th Grade Science

Évaluation de la validité des résultats de l'établissement des seuils de performance pour l'évaluation des acquis en sciences en 4e année du primaire à partir d'une base de données à grande échelle Validation de la procédure d'établissement des seuils pour une évaluation à grande échelle des sciences en 4e année

Оценка валидности результатов установления стандартов оценивания учебных достижений по естествознанию учащихся четвертых классов начальной школы на основе крупномасштабной базы данных Валидизация процедуры установления стандартов для крупномасштабного оценивания по естествознанию в 4-м классе

Clicks: 343
ID: 36546
2011
Article Quality & Performance Metrics
Overall Quality
Not rated
Combines reader engagement with the AI quality analysis. This article has not been analysed, so there is no overall score — reader engagement is measured and shown alongside.
AI Quality Assessment
Not analyzed
Readership in this journal
Popular

Ranked #7 of 9 articles by views in journal of research in education sciences

Most read Least read

Bar heights use a square-root scale.

Mint this article as an NFT
Not yet minted

Create a permanent, verifiable on-chain record of this article on the Scimatic Network. The NFT is held in your Journament account, and you can withdraw it to your own wallet at any time.

5 SUSD one-off · no wallet required
Abstract
學習成就評量資料庫建置目的之一,在於描述學生於各學科的學習成就表現概況;而學習成就表現的描述,即牽涉到標準設定議題。隨著臺灣學生學習成就評量資料庫對於國小四年級自然科之評量架構調整,致使沿用的表現標準已多不符合實務運用,而興起重新修訂之舉。本研究主要目的在於評估2009 年自然科學習成就評量國小四年級標準設定結果之效度,以Kane(1994, 2001)的效度評估證據為依據,藉由效度的過程證據、內部證據以及外部證據,作為標準設定結果之效度證據來源。結果發現,從各項效度證據來看,國小四年級自然科標準設定可由標準設定成員的組成及其回應、設定結果的一致性,以及外推論於數學成就的效度外部證據得到支持。本研究最後提出數項建議,供未來標準設定研究者參考。 One of the main purposes for constructing an academic achievement database is to understand the students’ academic performance for each content area. Standard setting is the main issue in the academic achievement. Due to the adjustment of the test blueprint for Taiwan Assessment of Student Achievement 4th grade science, the previous performance level description is outmoded for practice. Therefore, modifying the standards is necessary. The purpose of this study is to validate a science standard setting procedure designed for 2009 4th grade science students. Based on Kane’s (1994, 2001) framework for validation, this study collected procedural evidence, internal evidence, as well as external evidence using mathematics academic performance. Several suggestions are provided in the conclusion for further studies.
Uno de los propósitos principales del desarrollo de bases de datos de evaluación del rendimiento académico radica en describir el perfil del desempeño del aprendizaje de los estudiantes en las diversas disciplinas; dicha descripción del rendimiento involucra directamente la cuestión del establecimiento de estándares. Debido a la modificación del marco de evaluación de Ciencias Naturales para cuarto grado de primaria en la Base de Datos de Evaluación del Rendimiento Académico de los Estudiantes de Taiwán (TASA), los estándares de desempeño vigentes hasta entonces dejaron de ser adecuados para su aplicación práctica, lo que motivó su reformulación. El objetivo principal de este estudio consiste en evaluar la validez de los resultados del establecimiento de estándares para la evaluación del rendimiento en Ciencias Naturales de cuarto grado de primaria realizada en 2009. Con base en el marco de evidencias de validación de Kane (1994, 2001), se recurrió a evidencias de proceso, evidencias internas y evidencias externas como fuentes de respaldo empírico de dichos resultados. A la luz de los diversos datos de validez obtenidos, se halló que el establecimiento de estándares para Ciencias Naturales de cuarto grado está respaldado por la conformación del panel de jueces y sus valoraciones, la consistencia de los resultados determinados y las evidencias externas derivadas de la extrapolación al rendimiento en matemáticas. Finalmente, el estudio formula una serie de recomendaciones para futuros investigadores en el ámbito del establecimiento de estándares. Uno de los propósitos principales de la construcción de una base de datos de rendimiento académico es comprender el desempeño académico de los estudiantes en cada una de las áreas curriculares. El establecimiento de estándares constituye un aspecto central en el ámbito del rendimiento académico. Debido al ajuste en la tabla de especificaciones de la prueba de Ciencias de cuarto grado de la Evaluación del Rendimiento Académico de los Estudiantes de Taiwán, la descripción previa de los niveles de desempeño quedó obsoleta para fines prácticos, haciendo necesaria la modificación de dichos estándares. El objetivo de este estudio es validar un procedimiento de establecimiento de estándares en ciencias diseñado para estudiantes de cuarto grado de primaria en 2009. A partir del marco de validación de Kane (1994, 2001), este estudio recopiló evidencia procedimental, evidencia interna y evidencia externa empleando el rendimiento académico en matemáticas. En las conclusiones, se ofrecen diversas sugerencias para futuras investigaciones.
L’un des principaux objectifs de la constitution d’une base de données d’évaluation des acquis scolaires est de décrire le profil des performances des élèves dans chaque discipline ; or, la description de ces performances soulève inhéremment la question de la fixation des seuils de performance (*standard setting*). En raison de l’ajustement du cadre d’évaluation des sciences pour la quatrième année du primaire au sein de la base de données de l’Évaluation des acquis des élèves de Taïwan (TASA), les normes de performance en vigueur ne correspondaient plus aux exigences pratiques, ce qui a motivé leur révision. La présente étude a pour objectif principal d’évaluer la validité des résultats de la fixation des seuils pour l’évaluation des acquis en sciences de quatrième année du primaire en 2009. En s’appuyant sur l’approche de validation fondée sur des preuves de Kane (1994, 2001), cette recherche mobilise des preuves procédurales, internes et externes pour étayer la validité des résultats de fixation des seuils. Les résultats indiquent qu’au regard de ces différentes preuves, la fixation des seuils pour les sciences en quatrième année est corroborée par la composition du panel d’experts et leurs réponses, par la cohérence interne des résultats obtenus, ainsi que par des preuves externes issues de l’extrapolation aux performances en mathématiques. Enfin, l’étude formule plusieurs recommandations à l’attention des futurs chercheurs dans le domaine de la fixation de seuils. L'un des principaux objectifs de la création d'une base de données sur la réussite scolaire est de comprendre les performances scolaires des élèves dans chaque domaine d'apprentissage. La fixation de seuils de performance constitue un enjeu central dans l'évaluation de la réussite scolaire. En raison de l'ajustement du tableau de spécifications (*test blueprint*) de l'évaluation des sciences pour la 4e année du primaire de l'Évaluation des acquis des élèves de Taïwan (TASA), la description antérieure des niveaux de performance est devenue obsolète dans la pratique. Il est donc apparu nécessaire de réviser ces normes. Cette étude a pour objectif de valider une procédure de fixation de seuils de performance en sciences conçue pour les élèves de 4e année en 2009. Fondée sur le cadre de validation de Kane (1994, 2001), cette recherche a recueilli des preuves procédurales, internes ainsi qu'externes à partir des performances scolaires en mathématiques. Plusieurs suggestions sont formulées en conclusion afin de guider les recherches futures.
Одной из основных целей формирования базы данных оценки учебных достижений является описание общего уровня успеваемости учащихся по отдельным дисциплинам; при этом характеристика показателей успеваемости неразрывно связана с вопросом установления стандартов оценивания. В связи с корректировкой рамочной структуры оценивания по естествознанию для четвертых классов начальной школы в Тайваньской базе данных оценки учебных достижений учащихся ранее действовавшие стандарты успеваемости перестали отвечать практическим требованиям, что привело к необходимости их пересмотра. Основная цель настоящего исследования заключается в оценке валидности результатов установления стандартов по естествознанию для четвертых классов начальной школы за 2009 год. На основе модели валидизации М. Кейна (Kane, 1994, 2001) в качестве источников подтверждения валидности результатов использовались процедурные, внутренние и внешние свидетельства. Результаты показали, что установленные стандарты по естествознанию для четвертых классов начальной школы находят подтверждение в качественном составе экспертной комиссии и характере ее ответов, согласованности результатов процедуры, а также во внешних свидетельствах валидности, полученных путем экстраполяции на достижения по математике. В заключение предложен ряд рекомендаций для специалистов, занимающихся исследованиями в области установления стандартов. Одной из главных целей создания базы данных учебных достижений является определение успеваемости учащихся по каждой предметной области. Установление стандартов выступает ключевым вопросом в оценке академической успеваемости. В связи с корректировкой спецификации теста в рамках программы оценки учебных достижений учащихся Тайваня (Taiwan Assessment of Student Achievement) по естествознанию для 4-го класса прежнее описание уровней успеваемости устарело для практического применения. Таким образом, возникла необходимость модификации данных стандартов. Цель настоящего исследования состоит в валидизации процедуры установления стандартов по естествознанию, разработанной для учащихся 4-х классов в 2009 году. Опираясь на концептуальную модель валидизации Кейна (Kane, 1994, 2001), в рамках исследования были собраны процедурные, внутренние, а также внешние свидетельства с использованием показателей достижений по математике. В заключении представлен ряд рекомендаций для последующих исследований.
Reference Key
hsieh2011journal Use this key to autocite in the manuscript while using SciMatic Manuscript Manager or Thesis Manager
Authors Hsieh, 謝進昌 Jin-Chang;Hsieh, 謝名娟 Ming-Chuan;Lin, 林世華 Sieh-Hwa;Lin, 林陳涌 Chen-Yung;Chen, 陳清溪 Chin-Hsi;Hsieh, 謝佩蓉 Pei-Jung;
Journal journal of research in education sciences
Year 2011
DOI
DOI not found
URL
Keywords Keywords not found

Citations

No citations found. To add a citation, contact the admin at info@scimatic.org

No comments yet. Be the first to comment on this article.